数据仓库工程师需要什么技能(实用20篇)

职责：

1、 负责Windows，Linux服务器操作系统的安全加固，包括防病毒，应用防护等。

2、 负责安全渗透、安全加固及安全事件的应急响应，协助漏洞验证等。

3、 负责定期对服务器进行漏洞扫描、端口扫描、弱密码扫描，并整理报告。

4、 负责定期对运维人员，研发人员及测试人员进行安全培训，提高整体的安全意识。

5、 负责对各类安全事件主导跟进，包括系统漏洞处理、防薅羊毛、DDOS防御及其他安全加固措施实施。

6、 负责等保三级的相关工作;

7、处理领导交办的其他工作 。

岗位要求：

1、 计算机、通信相关专业大专以上学历

2、 熟悉主流服务器操作系统(Windows、LINUX)、数据库(sql、mysql)等基本操作和安全配置;

3、 具备一定的信息安全基础知识，熟悉网络设备和安全设备的操作，熟悉防火墙、入侵检测、VPN等网络安全技术;

4、 良好的沟通能力、富有团队精神，能够承担较大工作压力;

5、 了解信息安全等级保护、27001信息安全体系、ITIL等相关安全标准优先;

6、 持有等级保护测评师认证、HP或同等级证书者优先;

7、 熟悉国产操作系统(如中标麒麟、中科方德等)、国产数据库(神通、达梦、南大通用)优先;

8、 有政府类项目实施维护经验优先。

职责：

1.服务器及应用的安装、部署、维护、更新、监控等;

2.服务器相关资产管理;

3.负责处理平服务器台各类故障，问题快速定位和解决;

4.服务器日常运维，应用等自动化、标准化、平台化;

5.领导安排的其他相关工作。

职位要求：

1.本科及以上学历，，具有2年以上Linux运维经验，计算机、通信、信息技术等相关专业。

2.熟悉主流硬件，服务器DELL、HP、IBM等。对UNIX/Linux等操作系统有一定了解;

3.有安装调试服务器的经验，包括机架式服务器上架，做硬件raid，安装操作系统等;

4.至少熟悉一种自动化运维工具，Ansible、 Puppet、SaltStack，无人值守Kickstart等;

5.至少熟悉一种虚拟化云平台技术，vmware，kvm，citrix，xen，openstack等;

6.良好的沟通能力、学习能力、团队意识、积极的工作态度;

职责：

1.建设公司级数据仓库，并根据业务变化持续迭代和优化;

2.对业务数据进行梳理和抽象，建设数据仓库的数据模型;

3.对业务数据进行采集、清洗、转换和存储;

4.支撑BI、用户数据、用户运营、用户画像、房源数据、推荐系统等核心数据平台产品;

5.研究大数据前沿技术，不断持续优化大数据平台，为业务提供价值。

任职资格:

1.本科及以上计算机、统计学、数据库、机器学习等相关专业，5年以上数据相关工作;

2.对业务数据有敏锐的理解能力，并能快速梳理和分析业务数据;

3.熟练掌握SQL语言、熟悉MySQL，对Shell、Java(主要开发语言)、Python编程非常熟悉;

4.熟悉常用的ETL技术和原则;精通数据仓库数据库设计规范和实操;

5.熟悉Hadoop、Hive、HBase、Spark、Storm等开源平台者优先;

6.具有较强的分析和解决问题的能力，良好的学习能力和团队合作精神，追求价值实现，认同目标管理和敏捷。

职责:

1、 负责企业机房日常维护和巡检工作

2、 负责机房内服务器、存储等硬件设备的维护管理, 自动化运维系统的部署和管理，以及常见软硬件故障的处理

3、 负责企业内核心应用数据库的日常维护，数据备份、数据恢复以及数据库的优化等工作

4、 负责各类服务器操作系统的维护和管理，包含Windows、Linux以及Unix服务器系统的日常维护

5、 负责云平台系统的日常维护管理，虚拟机创建，资源分配、回收以及系统资源的日常监控和管理

任职资格:

1、 本科或以上学历，计算机相关专业

2、 至少两年以上 windows、linux 服务器运维管理经验

3、 熟练掌握windows server、 liunx操作系统的安装配置、系统管理以及系统优化

4、 熟练掌握oracle/mysql/sybase主流数据库的配置与优化，数据备份与恢复，数据安全，数据迁移与归档，数据库日常监控与管理

5、 具有丰富的系统软件及其硬件的故障排除经验，具备较强的分析及解决问题的能力，并善于主动总结和分享自己的工作经验;

6、具有良好的服务意识，端正的服务态度，敢于吃苦，服从安排

职责：

1、基于ERP数据、用户数据、日志行为数据等构建数据中间层，为数据分析、数据挖掘、数据预测应用场景提供优质的基础数据;

2、深度挖掘数据价值，构建用户画像，挖掘潜在规律和关联用户行为，为业务产品决策提供数据依据。

3、对公司业务应用场景进行数据分析和决策支撑;

4、主导数据产品的设计;

5、配合软件工程师把模型落地，并对模型进行迭代优化。

任职要求：

1、数学、统计学，计算机类本科以上学历，有良好数学基础;

2、熟练掌握SQL语言，基本会使用SAS、Python、SPSS、R等其中一项挖掘分析软件;

3、有数据建模工作经验，良好的业务理解能力和模型抽象能力;

4、有海量大数据平台使用经验的优先考虑，有农业行业数据研究经验的优先考虑;

5、具有良好的沟通和团队协作能力，对业务有良好的理解能力和敏锐度。

职责：

1、熟悉基础网络知识，熟悉TCP/IP协议工作原理;

2、熟悉WEB相关技术，包括Apache/Nginx/tomcat、Memcached/redis/mysql等应用服务的安装、配置和维护;

3、熟悉服务器硬件，具备系统、应用软件的报错及故障定位、处理的能力;

4、检测、跟踪和分析流行安全漏洞、设计和实施防御方案。

任职要求：

1、专科及以上学历，专业不限;

2、有linux理论基础，热爱技术岗位，能够及时补充自己技术缺陷;

3、有团队意识，责任心强，对自己有一定的规划;

4、至少掌握Shell/Python其中一种脚本编程;

5、批量、自动化管理服务器集群的能力，有较强的技术文档总结性工作的经验。

职责：

1.参与传统数仓和大数据数仓日常开发工作;

2.参与大数据仓库设计、规划和开发;

3.参与日常工作的优化，提出建设性意见;

4.负责管理项目，负责板块内的资源协调、进度管理、交付管理;

5.参与数据仓库、数据集市体系架构的设计、规划与开发, 参与大数据、ETL开发，sql性能优化。

任职要求：

1.全日制本科，计算机等相关专业。3年以上数仓开发经验，有银行、金融从业经验者优先。

2.2年以上项目管理经验，具备PMP证书优先.

3.熟悉oracle/hive/spark，熟悉数据处理和性能优化，有UDF自定义函数、MR开发经验优先;

4.熟悉常用ETL工具，熟悉常用的Linux指令，熟悉shell/python任意一种脚本语言。

职责：

1. 负责移动终端软件测试，按照测试用例和测试流程完成测试任务。

2. 负责测试过程中发现BUG的登记，并对修改后的BUG做验证和回归测试。

3. 按照软件测试文档要求，编制规范测试报告。

4. BT,WiFi功能和协议的测试/功耗、性能、压力测试等，其中任意一方向能达到深入了解;

任职要求：

1. 计算机、通信相关专业，专科以上学历。

2. 对测试行业有兴趣，并想长期发展。

3. 1年以上工作经验，应届生条件优秀者可酌情考虑。

4. 责任心强，执行力强，乐于学习，有一定抗压能力。

5. 有一定用例编写能力。

6. 有基础的英文读写能力。

职责：

1、基于互联网行业特点构建企业级数据仓库架构,建设PB级共享数据平台;

2、负责数据平台相关数据研发及管理工作，参与制定EDW相关规范并推动实施落地;

3、对海量数据处理的相关需求进行评估及方案设计;

4、负责数据产品如用户画像等模型设计;

5、了解行业前沿大数据处理方法。

任职资格:

1、8年以上数据仓库开发及管理经验，5年以上互联网/电商行业经验;

2、精通数据仓库建设方法论，有大型数据仓库建设项目经验(PB级以上);

3、熟悉HADOOP、HIVE、HBASE、SPARK、FLUME等工作原理;

4、精通HiveSQL，有较丰富的HiveSQL性能调优经验;

5、至少熟练使用Shell、Python、Perl等脚本语言之一;

6、工作认真、负责，有良好的团队合作精神，良好的分析及沟通能力;

职责：

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

岗位要求：

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

职责：

1、负责IBM、HP、DELL等业界主流品牌的服务器安装配置及日常维护工作;

2、负责VMWare虚拟化平台项目实施及维护工作;

3、负责EMC、DELL等企业级存储及其SAN网络的安装配置及日常维护工作;

4、负责服务器集群拓扑及SAN存储网络部署;

5、解决实施工作中的技术难题，挖掘客户需求，提出针对性的解决方案;

6、编写各类维护文档，譬如：实施方案、实施报告、巡检报告、故障处理报告等等。

岗位要求：

1、计算机相关大专以上学历，3年以上IT运维或机房管理工作经验;

2、熟悉主流X86服务器(IBM/HP/华为)和存储的运维和管理;

3、熟悉思科、华为等主流网络设备的配置和问题排错;

4、熟悉vmware虚拟化架构技术，具有虚拟化的搭建和运维经验，对vmware的存储、灾备、网络、安全、升级、虚拟机管理、监控和性能等有深刻的理解;

5、有一定的信息安全实施经验，对VPN，防火墙，上网行为管理以及内网安全有深入理解和实操经验;

6、熟悉服务器运维及服务器架设，包括AD域，IIS，DNS、双机集群等各类windows服务器的配置管理;

7、熟悉openstack或者cloudstack任意一种平台的部署实施，有成功搭建或者部署经验优先。

(1)认真贯彻执行国家制订的相关技术规范、规则、标准和铁道部颁布的技术规范、规则、验收标准，以及集团公司、成贵铁路公司有关规定。

(2)负责隧道专业施工图纸的审查及优化、现场技术交底、施工方案优化、关键工序控制、合理化建议、现场技术指导等工作。

(3)参与编制实施性施工组织设计和重大技术方案，根据批准的施工组织设计和技术方案组织实施，结合工程进展情况，提出隧道专业动态管理、控制、调整建议。

(4)负责隧道专业技术资料保管工作，建立隧道专业技术台帐。

(5)开展科技创新、合理化建议、方案优化活动，积极参与新技术、新工艺、新设备、新方法并推广应用。

(6)负责隧道专业设计变更日常管理工作。

(7)负责隧道工程验工计价工作。

(8)负责对各项目分部的隧道超前地质预报、监控量测、沉降变形观测、隧道接口工程管理工作。

(9)组织隧道专业单位工程、单项工程验收。

1、负责现有软件系统的运行维护及监控，提供IT软硬件方面的服务和支持，保证系统的稳定，包括但不限于日常巡检、问题排查、跟踪和统计;

2、负责公司软件系统的上线测试、协调、验收和实施工作;

3、负责公司软件系统关键用户和使用用户的日常培训工作，制定详细培训计划，及时解决或协调解决用户使用系统过程中遇到的问题;

4、熟练掌握主流数据库(SqlServer、mysql);

5.负责服务器网络、防火墙、系统安全、病毒防护方案的部署与管理;

6工作积极主动、认真负责、勤勉、踏实、能吃苦的、可适应全国性短期出差。

职责：

1、负责公司Linux服务器的维护、备份、调优;

2、负责本地服务器提供的计算机环境的部署;

2、负责设计实现与运维相关的自动化工具或系统;

4、能够熟练排查运维过程中出现的服务故障、系统故障、网络故障;

职位要求：

1.计算机相关专业，2-5年工作经验，服务过技术型公司;

2.熟练掌握linux服务器的配置和管理，防火墙，VPN等技术;

3.熟练掌握各种软硬件负载技术框架的安装调试和技术支持，如lvs，nginx等

4.熟练使用Shell/Python脚本工具进行运维自动化;

5.熟悉GitLab/Wiki等相关技术，及有实际项目使用经验;

6.有大数据处理软件运营经验者优先

职责：

1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发，创建数据仓库、数据集市

2.熟悉数据仓库领域知识，从架构和技术层面参与建设数据仓库，包括元数据管理、数据质量、主数据管理、性能优化和调优。

3.负责数据仓库平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地

4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片

任职资格:

1. 本科或硕士以上学历，计算机工程相关专业

2. 熟悉大数据相关技术能力(Hadoop/MapReduce/Hive/Hbase等),熟练进行数仓Hive建设和软件架构,较强的数据抽象能力

3.精通SQL，具备海量数据处理和Hive/Spark性能调优经验,3年以上大规模分布式数据仓库建设经验

4.熟练使用Druid/Kylin之一进行数据挖掘模型设计，熟练掌握Java/Scala之一，具备良好的coding素养和习惯,了解脚本语言，如Python、Shell等

5.强烈的责任心,工作态度积极主动，有较好的团队精神和沟通能力，工作细致认真

职责：

1、负责制定数据仓库平台技术体系架构、数据架构及规范;

2、负责设计和实施公司业务数据的实时/离线数据ETL架构方案;

3、负责调度架构设计与开发;

4、负责数据仓库平台运维以及日常数据运营等管理;

5、负责关键技术攻关;

任职要求：

1、5年以上数据仓库项目开发经验，参与过数据仓库架构设计，对ETL开发流程、调度架构有深入理解;

2、精通mysql、 oralce 、greenplum等至少一种数据库，丰富的SQL性能调优经验;

3、熟练使用Java、Shell、Python、Perl等至少一种脚本语言;

4、熟悉数据治理理论，数据质量、元数据管理流程和方法;

5、了解Hadoop/Hive/HBase/Spark/Storm等技术及其生态圈;

6、沟通能力好、责任心强，具有良好的团队合作精神和敬业精神;

职责：

1、负责系统运维，解答用户疑问，处理异常;

2、负责系统用户操作培训;

3、负责收集并统计用户系统需求及初步沟通及分析;

4、负责系统数据库的基本维护检查备份。

任职要求：

1、计算机或信息化管理等专业本科及以上学历;

2、熟悉SQL Server/Postgresql数据库，熟练掌握SQL 语句的运用;

3、有一定软件开发语言基础，熟悉C#语言者优先;

4、熟悉制造企业的生产流程，熟悉鞋服制造企业生产流程者优先;

5、抗压能力强;

6、良好的沟通及理解能力。

职责：

1. 负责数据ETL开发，根据数仓层级结构及主题域划分，规范清洗代码，提供准确数据

2. 负责数据质量治理，发现异常业务逻辑或数据质量问题，推动业务优化及改善。

3. 负责数据开发需求评审、结合数据分析体系制定ETL清洗方案;

任职要求：

1. 一年以上数据仓库ETL设计及开发经验，有BI经验者优先

2. 熟练使用 SQL，熟悉HQL常用内部函数，有一定的 HQL性能调优经验优先

3. 具备数据仓库架构设计、模型设计、ETL设计，调度的相关经验优先;

4. 对数据敏感，有较强数据分析和解决问题能力;

5. 积极沟通，主动了解业务需求，愿意尝试新的技术领域。

职责：

1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;

4、负责优化部门运维流程提升运维效率。

任职要求：

1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

6、具备较好的沟通能力、主动性和团队合作精神。

职责：

1. 负责日常网络及各子系统管理维护;

2. 负责设计并部署相关应用平台，并提出平台的实施、运行报告;

3. 负责配合开发搭建测试平台，协助开发设计、推行、实施和持续改进;

4. 负责相关故障、疑难问题排查处理，编制汇总故障、问题，定期提交汇总报告;

5. 负责网络监控和应急反应，以确保网络系统有7*24小时的持续运作能力;

6. 负责日常系统维护及监控，提供IT软硬件方面的服务和支持，保证系统的稳定。

素质要求及任职资格：

1.学历： 专科以上。

2.专业： 计算机相关专业。

3.经验： 一年以上相关工作经历优先。

4.核心能力及业务技术要求：

A.熟悉Unix/linux和Windows系统，有IT系统维护经验; 对操作系统、网络、计算机安全有一定的深刻理解;

B.熟悉主流的交换机、路由器、防火墙等网络设备及其技术应用;

C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

D.熟悉负载均衡技术，lvs+keepalive+Heartbeat等集群技术;

E.精通或掌握SQLServer/Oracle/mysql等大型数据库管理系统(之一)的安装/配置和管理;

F.熟练掌握Linux监控软件，如nagios等，监控系统安全控制及技术防范;

G.具备良好的分析和解决问题的能力，对于攻关疑难问题具有强烈的兴趣;

H.性格开朗外向、善于学习,具备较强的服务意识、沟通协调能力、团队协作能力;

I.良好的文档编写能力，较强的客户服务意识，积极主动，吃苦耐劳, 高度的责任心及应急能力;

5.其它：身体状态良好。