数据仓库工程师的基本职责模板 篇1
职责:
1、根据公司业务需求,构建可扩展的数据仓库,负责数据模型的规划设计实现和优化。
2、负责业务数据的采集,清洗,特征抽取。
3、负责ETL的维护工作,发现故障及时诊断、定位、分析和调试,保证数据准确、稳定。
4、根据业务需要,提供面向业务的报表、数据提取等数据服务。
5、参与业务数据分析体系的数据统计、分析及建模。
任职资格:
1、 统招本科及以上学历,三年以上数据仓库、BI开发经验;至少两年
2、熟练使用oracle、mysql、Postgres等关系型数据库及Hive、Hbase、spark、impala等基于hadoop集群的组件、编写优秀的存储过程、熟悉shell脚本语言,有良好的代码习惯
3、 熟悉数据仓库建设的流程及方法论、理解维度建模,有实际的模型设计经验及ETL相关开发经验;
4、 熟悉二种以上开源或商业的BI工具,有报表及可视化开发经验,熟悉帆软开发优先;「 XuExibanG.net 编辑发布 」
5、互联网金融工作经验优先,汽车金融行业经验优先
5、 较强的逻辑思维能力和学习能力,对数据有敏锐的认知力,工作态度踏实、认真、积极主动,有良好的团队协作能力、执行力以及抗压工作能力和心态,乐于沟通交流和分享。
数据仓库工程师的基本职责模板 篇2
职责:
1. 独立完成ETL 需求分析、设计、开发及部署工作
2. 独立完成BI分析报表等应用的需求分析、模型设计、数据处理、报表开发等工作;
3. 配合开发经理完成BI分析报表等项目的过程管理、元数据管理、质量管理;
4. 完成实时大数据处理系统及批处理系统的架构设计及实现;
5、负责BI分析报表等应用的系统部署及运维
任职要求:
1. 计算机相关专业本科及以上学历,3年以上相关开发经验;
2. 精通主流关系型数据库,精通SQL优化、ETL问题定位,能够从模型设计层面做ETL优化;
3. 精通ETL架构的设计,精通BI/DW,精通数据仓库模型设计;
4. 熟悉Hadoop、Map/Reduce的原理,能够选用合适的工具设计、编写Hadoop的ETL程序;
5. 熟悉Shell/Perl/Python等脚本语言;
6. 熟悉kettle及sqoop; 精通元数据管理、数据质量分析和处理设计。
数据仓库工程师的基本职责模板 篇3
职责:
1、负责公司大数据平台建设、开发
2、依据业务需求,进行数据产品的规划和设计开发,为数据分析和运营等人员搭建友好高效的数据产品,如报表、BI系统等
3、协助对业务数据进行分析、建模,为业务部门的数据化运营提供支持
任职要求:
1、本科或以上学历,2年以上大数据开发或数据仓库或BI经验,熟练掌握Java或者Python开发语言
2、熟悉Hadoop或Hadoop生态圈相关技术,如Hive、Spark等,或者大数据云服务技术。
3、对业务有敏锐的洞察力,有较强的业务理解与分析能力;
4、具备良好的团队合作精神,有较好的沟通交流能力,善于主动思考和行动,乐于解决具有挑战性的问题;
5、具有电商领域大数据开发、推荐系统研发经验的优先考虑。
数据仓库工程师的基本职责模板 篇4
职责:
1.负责VIVO公司级的数据集市和数据仓库的设计和开发
2.负责基于用户行为的用户标签探索和开发
3.负责基于业务需求的数据中间层和可视化开发
4.负责各类分类和预测模型的开发
任职资格:
1.本科学历,数统、计算机相关专业。
2.了解hadoop\spark生态,有完整仓库设计和开发经验。
3.精通hql调优,shell\python,熟练使用常规机器学习算法。
数据仓库工程师的基本职责模板 篇5
职责:
1、 负责全平台流量及业务数据开发,参与数据模型体系构建及数据主题设计,为BI数据报表提供底层数据支持;
2、 理解产品、业务人员的数据需求,提供OLAP、数据提取等数据服务;
3、 参与数据仓库模型设计,负责元数据建设、数据融合、多维度事实表及维表的数据仓库开发;
4、 参与项目ETL的设计、开发、调度、执行、处理,进行模型性能及ETL流程调优;
任职要求:
1、大学本科及以上学历,5年以上工作经验;
2、 熟悉ORACLE、MYSQL、SQL Server等主流数据库,熟练使用Power designer、kettle、 Data service等数据仓库及ETL工具,了解Dashboard、Smart BI、Power BI、Cognos等前端开发工具;
3、 熟悉Data Cube,并精通SQL,熟练使用Hive、Spark-SQL, python、Shell等进行数据开发,具备开发复杂业务逻辑的数据处理及分析能力;
4、熟悉数据仓库理论,掌握Kimball维度建模方法,有ETL开发和数仓模型设计经验;
5、有很强的自我驱动力,对开源技术非常感兴趣并具有一定的研究能力;