数据采集:ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。 数据存取:关系数据库、NOSQL、SQL等。 基础架构:云存储、分布式文件存储等。 数据处理:自然语言处理(NLP,NaturalLanguageProcessing)是研究人与计算机 交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguage Understanding),也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。 统计分析:假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。 数据挖掘:分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等) 模型预测:预测模型、机器学习、建模仿真。 结果呈现:云计算、标签云、关系图等。
NaturalLanguageProcessing)是研究人与计算机 交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言,所以自然语言处理又叫做自然语言理解(NLU,NaturalLanguage Understanding),也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支,另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。 统计分析:假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。 数据挖掘:分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像,视频,音频等) 模型预测:预测模型、机器学习、建模仿真。 结果呈现:云计算、标签云、关系图等。
大数据发展趋势
能、机器学习、博弈论将在大数据分析方面发挥更大的作用。 个人(自我)分析将崛起。越来越多的公司将提供消费者可以分析的数据方式,让他们控制自己的行为和个人生活。 企业将制定更明确的隐私政策,给消费者更多的他们的分享内容的控制权。特定的消费者将会积极管理他们与人分享的内容。 各行业的大数据分析将迎来更多的应用。越来越多的企业将不满足于大数据管理能力而寻求外部专家。 移动分析显着增加。移动推动分析会改变消费者的消费信息和消费习惯。 更智能的设备和器具的出现很大程度的嵌入式分析。 更侧重于实时分析,虽然我不不看好其在今年内会有很大的进展。 无法处理大量数据、品种或速度的产品分析公司将被淘汰。 Hadoop的挑战将开始出现。用户将达到一个挫折与性能的限制点,版本混乱,和各种不同的标准和接口。竞争对手的技术和平台将充分利用杠杆作用,而超越HadoopHDFS的性能限制,因此,所有的大数据平台将迎来更多的创新。