基于Hadoop的大数据平台实施——整体架构设计

大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织,至少在互联网上已经被吹嘘成无所不能的超级战舰。好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数据,说真的,到目前为止就和云计算一样,让我总觉得像是在看电影《云图》——云里雾里的感觉。或许那些正在向你推销大数据产品的公司会对您描绘一幅乌托邦似的美丽画面,但是您至少要保持清醒的头脑,认真仔细的慎问一下自己,我们公司真的需要大数据吗?

技术文章HadoopSpark
2018-05-28
阅读:473 点赞:31

《2018年中国大数据BI行业分析报告》(全文)

近年来,随着人们的数据意识和数据素养不断提升,商业智能(BI,Business Intelligence)和数据分析领域迎来了快速发展期,据Gartner商业智能报告统计,到2020年全球的商业智能市场容量预计将达到228亿美元。同时,大数据、人工智能、机器学习、深度学习等技术的快速发展,也促进了商业智能和数据分析产品的新一轮进化。 Gartner分析师认为,到2020年,自然语言生成和人工智能将是90%的新BI平台的标准特征,50%的分析查询将使用搜索、自然语言处理,或语音生成,或将自动生成。但我们必须认识到,我国商业智能的市场特征、企业需求、关注点、发展阶段均与国外有所不同,以Gartner为代表的分析机构并不能准确描述我国商业智能行业的实际状况。

行业讯息
2018-03-09
阅读:306 点赞:6

Apache Impala引领传统分析数据库技术的发展

与传统的分析数据库(Greenplum)相比,未经修改的基于TPC-DS的性能基准测试表现出了Impala的领导地位。此外,基准测试还进一步证明了分析数据库与Hive LLAP、Spark SQL和Presto等SQL-on-Hadoop引擎之间存在的显著性能差距。

Cloudera技术文章HadoopSpark
2017-12-18
阅读:589 点赞:9

如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据

本文档描述了在Kerberos与非Kerberos的CDH集群之间BDR不可用的情况下实现数据互导。文档主要讲述: 1.测试集群环境描述 2.CDH的BDR功能验证 3.集群之间数据复制要求和限制 4.集群之间数据复制的方式 5.使用DistCp复制数据注意事项 6.通过DistCp进行数据互导

技术文章ClouderaHadoopSpark
2017-11-07
阅读:535 点赞:21

Apache Kylin深入Cube和查询优化

Apache Kylin已在全球范围得到了广泛应用,支撑着单个业务上万亿规模的数据查询业务。在超高性能的背后,Cube是至关重要的核心。一个优化得当的Cube既能满足高速查询的需要,又能节省集群资源。本文将从多个方面入手,介绍如何通过优化Cube提升系统性能。

技术文章Kylin
2017-10-20
阅读:898 点赞:22

CDH5.13和CM5.13的新功能

CDH5.13在美国时间10月12日正式发布,距离上次CDH5.12的7月16日,相距差不多3个月的时间,这也是Cloudera发布CDH的minor version的一般时间间隔。让我们先概括一下新功能。

Cloudera技术文章HadoopSpark
2017-10-16
阅读:698 点赞:31

Cloudera今日凌晨宣布收购Fast Forward Lab (FFL)

我们已经收购了Fast Forward Labs(FFL),这是该领域最好的应用研究公司之一。 FFL的联合创始人兼首席执行官Hilary Mason将担任Cloudera的研究副总裁。她和她的团队加入我们,以加深我们将机器学习应用于实际业务问题的专长。

行业讯息Cloudera
2017-09-27
阅读:876 点赞:27

推荐CENTOS7.2安装CDH5.10和Kudu1.2

本文档描述CENTOS7.2操作系统部署CDH企业版的过程。Cloudera企业级数据中心的安装主要分为4个步骤: 1.集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等; 2.外部数据库安装 3.安装Cloudera管理器; 4.安装CDH集群; 5. 集群完整性检查,包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。

技术文章ClouderaHadoopSpark
2017-09-13
阅读:1167 点赞:35

应用Tableau和Apache Kylin实现互联网理财用户持仓监控仪表板

本文作者京东金融数据部数据分析师赵龙飞从互联网金融平台数据分析师的视角入手,着重介绍如何通过Kylin和Tableau Server的相互配合,制作互联网理财用户持仓监控仪表板,并针对“理财平台的综合收益率”进行了有益的数据探索。

技术文章KylinTableau
2017-09-08
阅读:504 点赞:12

Hive表字段Comment中文乱码解决方法

默认Hive中创建有中文注释的表时,无论是在Hive CLI还是Hue中该注释显示都会是乱码。本文主要讲述该问题的解决方法。

技术文章ClouderaHadoopSpark
2017-08-24
阅读:403 点赞:9

加载更多

大数据平台运维专家,服务中国企业数字化转型战略。

联系我们

400-601-6012

上海市新二路55号空间技术应用产业基地13层

business@bemore.cn

碧茂科技

在线留言

工商亮照标识