大数据概念
大数据主要解决海量数据的采集, 存储和分析计算问题.
大数据特点(4V)
- Volume(大量)
- Velocity(高速)
- Variety(多样)—包括结构化数据和非结构化数据
- Value(低价值密度)-------价值密度的高低与数据总量的大小成反比
大数据应用场景
- 抖音推荐
- 电商站内广告推荐
- 零售: 分析用户消费习惯, 为用户购买商品提供方便, 从而提升商品销量
- 物流仓储
- 保险—数据挖掘及风险预测,助力精准营销, 提升精细化定价能力
- 金融—多维度体现用户特征, 帮助金融机构推荐优质客户, 防范欺诈风险
- 房产----精准营销
大数据部门间业务流程分析
产品人员提出需求(统计双11实时交易额, 各地区销售排行TopN等)—> 数据部门搭建数据平台, 分析数据指标----> 数据可视化(报表展示,邮件发送, 大屏幕展示等).
大数据部门内组织架构
- 平台组
Hadoop等框架平台搭建
集群性能监控
集群性能调优 - 数据仓库组
ETL工程师(数据清洗)
数据分析,数据仓库建模 - 实时组
实时指标分析, 性能调优 - 数据挖掘组
算法工程师
推荐系统工程师
用户画像工程师 - 报表开发组
JavaEE工程师
前端工程师
本文由 liyunfei 创作，采用 知识共享署名4.0
国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Jun 24,2022