-
手把手教你设计大数据流水线
所属栏目：[大数据] 日期：2021-12-18 热度：123
在数据架构中，数据流水线一般以数据为起点，以洞见为终点。如何从起点到终点，取决于一系列的因素。图1展示了一个数据架构下的数据流水线。 大数据流水线的标准工作流程包括以下步骤： 1)通过合适的工具收集数据(摄取)。 2)持久化存储数据。 3)数据处理或[详细]
-
比较Hadoop、Spark和Kafka大数据框架
所属栏目：[大数据] 日期：2021-12-18 热度：167
大约十年前，大数据开始流行。随着存储成本不断下降，很多企业开始存储他们获取或生成的大部分数据，以便他们可以挖掘这些数据，以获得关键的业务洞察力。 企业分析所有这些数据的需求推动着各种大数据框架的开发，这些框架能够筛选大量数据，从Hadoop开始[详细]
-
Cloudera 拥抱云计算，深耕企业数据云平台
所属栏目：[大数据] 日期：2021-12-18 热度：171
数据湖、数据仓库、数据中台随着大数据技术的不断更新迭代，相关概念如雨后春笋般应运而生。对于这些概念，已经有了无数篇文章去科普，可以简单的总结如下： 数据湖是一个集中的存储库，可以在其中存储超大规模的、所有结构化和非结构化数据。在数据湖中，[详细]
-
记录一次 Hbase 线上问题的分析和解决
所属栏目：[大数据] 日期：2021-12-18 热度：133
大家好，我是明哥! 本篇文章，我们回顾一次 hbase 线上问题的分析和解决 - KeyValue size too large，总结下背后的知识点，并分享一下查看开源组件不同版本差异点的方法。 希望大家有所收获，谢谢大家! 01 Hbase 简介 Hbase 作为 hadoop database, 是一款开[详细]
-
建立数据策略的六个关键组成部分
所属栏目：[大数据] 日期：2021-12-18 热度：139
现如今，每个公司都是一个由数据业务包围的企业。从跟踪库存水平的街角小店，到预测市场趋势和全球运输成本的跨国制造商，我们都在依靠数据来运行。 更准确地说，我们在使用许多类型的数据。例如，所有类型的企业都有交易、引用和客户关系的数据。我们也可[详细]
-
数据驱动的电子邮件验证至关重要的六个原因
所属栏目：[大数据] 日期：2021-12-18 热度：113
大数据在电子邮件通信的未来中扮演着非常关键的角色。越来越多的公司正在寻找更具创新性的方法来使用数据技术来简化沟通并在各个利益相关者之间建立更加个性化的关系。 大数据最重要的好处之一在于电子邮件验证。数据驱动型公司正在寻找更智能的方法来使用[详细]
-
数据结构与算法之合并区间，如此贪
所属栏目：[大数据] 日期：2021-12-18 热度：198
合并区间 给出一个区间的集合，请合并所有重叠的区间。 示例 1: 输入: intervals = [[1,3],[2,6],[8,10],[15,18]] 输出: [[1,6],[8,10],[15,18]] 解释: 区间 [1,3] 和 [2,6] 重叠, 将它们合并为 [1,6]. 示例 2: 输入: intervals = [[1,4],[4,5]] 输出: [[1,[详细]
-
详解数据治理有关的七个术语和名词
所属栏目：[大数据] 日期：2021-12-18 热度：183
数据元 1. 名词解释 国标[GB/T 18391.12002]对数据元的定义为：用一组属性描述定义、标识、表示和允许值的数据单元。 数据元由三部分组成：对象、特性和表示。数据元是组成实体数据的最小单元，或称原子数据。例如个人信息中，手机号为数据元，135********[详细]
-
创建数据驱动的价值生态系统的三个步调
所属栏目：[大数据] 日期：2021-12-18 热度：160
事实证明，管理大量数据和颠覆性技术的关键在于建立一个能力中心。 尽管许多企业在其数据分析项目中使用人工智能和机器语言工具作为核心推动因素，并且全球人工智能支出持续增加，但事实上，大多数数据科学项目注定要失败。 导致这些失败的原因有很多，从人[详细]
-
大数据产业新风口，运营商优势在哪里？
所属栏目：[大数据] 日期：2021-12-18 热度：113
大数据产业是以数据生成、采集、存储、加工、分析、服务为主的战略性新兴产业。工信部近日发布《十四五大数据产业发展规划》(下称《大数据规划》)提出了十四五时期的总体目标，将成为大数据产业未来发展的基[详细]
-
手把手教你绘制数据治理实行路线图
所属栏目：[大数据] 日期：2021-12-18 热度：65
数据治理成熟度评估为企业提供了一个数据治理的切入点，通过发现企业数据治理中存在的问题，找到与业界领先企业的差距，绘制出符合企业现状和需求的数据治理路线图。 一数据治理路线图概述 1、数据治理路线图的定义 什么是路线图 路线图是指描述技术变化步[详细]
-
数据解析 VS 算法模型，如何高效分工合作？
所属栏目：[大数据] 日期：2021-12-18 热度：95
数据分析该如何与算法合作，是个老大难问题。一方面是业务方日益提高的，对模型的幻想。另一方面是大量企业里存在的，数据采集差，缺少足够数据人员，工作目标不清晰等等问题。到底该如何和分析与算法协同增效?今天系统分享一下。 01两种典型的错误做法 狗[详细]
-
如何应对繁杂的数据需求？
所属栏目：[大数据] 日期：2021-12-18 热度：157
大家好，我是一哥，最近有一位数据新人小伙伴私聊我：在平时的工作中会面临着大量的数据需求，不仅多，而且杂，请问如何处理面对这些问题?有没有什么好的提高工作效率的方法? 其实不止是作为数据新人会面临这样的困境，很多数据工程师都有着这样的困惑，干[详细]
-
手把手教你对文本文件实行分词、词频统计和可视化
所属栏目：[大数据] 日期：2021-12-18 热度：122
大家好!我是Python进阶者。 前言 前几天一个在校大学生问了一些关于词频、分词和可视化方面的问题，结合爬虫，确实可以做点东西出来，可以玩玩，还是蛮不错的，这里整理成一篇文章，分享给大家。 本文主要涉及的库有爬虫库requests、词频统计库collections[详细]
-
聊聊为什么 IDL 只能拓展字段而非修改
所属栏目：[大数据] 日期：2021-12-18 热度：110
本文转载自微信公众号「董泽润的技术笔记」，作者董泽润 。转载本文请联系董泽润的技术笔记公众号。 前几年业界流行使用 thrift, 比如滴滴。这几年 grpc 越来越流行，很多开源框架也集成了，我司大部分服务都同时开放 grpc 和 http 接口 相比于传统的 http1[详细]
-
客户数据分析对于基于客户的营销的未来很关键
所属栏目：[大数据] 日期：2021-12-18 热度：73
人们详细讨论了数据分析在营销领域的重要性。数据分析为努力提高市场份额的公司提供了许多有用的见解。 数据分析的最佳应用之一是通过增强的基于帐户的营销。有很多方法可以使用大数据来更好地了解目标客户群，这是任何营销策略的重要组成部分。 将基于客户[详细]
-
全球首款！无人驾驶重载移动平台Qomolo ONE发布
所属栏目：[大数据] 日期：2021-12-16 热度：131
在现场观众的见证下，仅仅用了6分钟，便组合成一辆总长 14 米的无人驾驶大巴，这就是以无人物流货车形态登场的 Qomolo ONE。近日，西井科技在上海世贸展览馆成功举办2021西井科技战略新品发布会，宣布全球首款跨场景无人驾驶重载移动平台Qomolo ONE正式发布[详细]
-
语言壁垒或将攻克？带你了解各类AI即时翻译终端产品
所属栏目：[大数据] 日期：2021-12-16 热度：67
随着科技的发展，人工智能（AI）技术在翻译领域大显身手，使用AI技术的即时翻译功能已开始配备在多种终端上。多家企业开发出了不同的终端产品，可以根据用途、交流对象、场景使用不同的终端。在AI翻译的准确性不断提高的同时，终端产品也将提高易用性，通过[详细]
-
智慧交通 推动精细治理
所属栏目：[大数据] 日期：2021-12-16 热度：99
走进安徽省合肥市公安局交警支队交通指挥大厅，一块巨大的电子屏幕几乎占满了整个墙面，上面清楚地显示着合肥市的实时路况、警力分布、交通事故处理进度等信息。 指挥大厅于2020年升级改造完成，设有指挥长席、指挥调度席、综合研判席、视频巡检席、勤务督[详细]
-
广东首创数据经纪人，到底是做什么的？
所属栏目：[大数据] 日期：2021-12-16 热度：176
根据《广东省数据要素市场化配置改革行动方案》，广东首创数据经纪人是全省数据要素市场化配置改革的一项制度性安排，旨在鼓励设立社会性数据经纪机构，规范开展数据要素市场流通中介服务。12月9日，《广州市海珠区数据经纪人试点工作方案》（简称《试点方[详细]
-
智能客服怎样更智能？
所属栏目：[大数据] 日期：2021-12-16 热度：56
网购退换货、手机换套餐、银行问业务、宽带出问题、机票退改签，几乎你能想到的所有客服场景中，背后都有智能客服的身影。这些机器人24小时在线秒回，语气永远温暖，从不会闹脾气，然而头顶智能光环，却被吐槽听不懂人话，这究竟是怎么回事？用户体验差，企[详细]
-
井上操控更省心 井下作业更靠谱
所属栏目：[大数据] 日期：2021-12-16 热度：57
开采更精确，检测更高效，数据共享更便捷近年来，5G+工业互联网加速与传统采矿业深度融合，在远程设备操控、无人智能巡检、设备协同作业等方面形成了有效实践，促进行业提质增效，保障生产安全有序，为行业高质量发展注入了新动能。 在山西省大同市晋能控股[详细]
-
AI改变用户办公体验
所属栏目：[大数据] 日期：2021-12-16 热度：52
中国互联网络信息中心近日发布的第48次《中国互联网络发展状况统计报告》（以下简称《报告》）显示，截至2021年6月，中国在线办公用户规模达3.81亿，较2020年12月增长3506万，占网民整体的37.7%，在线办公市场保持活跃发展。 在线办公需求猛增 无需早起赶地[详细]
-
大数据分析表明昆虫多样性与碳排放密切相关
所属栏目：[大数据] 日期：2021-12-16 热度：63
目前人为的全球变暖与毁林事件导致森林昆虫多样性不断下降，历史上有没有发生过类似的事情呢？中国科学院南京地质古生物研究所科学家通过建立全球甲虫化石形态数据库，深入研究了二叠纪末大灭绝前后森林变化与甲虫演化的关系，为我们提供了新的见解。研究成[详细]
-
人工智能助力计算走向智算
所属栏目：[大数据] 日期：2021-12-16 热度：186
在日前举行的2021人工智能计算大会上，国际数据公司IDC和浪潮信息联合发布的《20212022中国人工智能计算力发展评估报告》显示，相比2020年，人工智能在金融、制造、能源、公共事业和交通等行业体现的推动作用尤为显著。同时，以智能计算中心为代表的算力基[详细]
