大数据架构师的岗位职责
职责:
1. 负责公司大数据平台的设计和开发,负责spark, hadoop, flink等云计算平台的开发和优化;制定数据架构规范,进行核心代码编写,指导团队落地;
2. 负责数据基础架构和数据处理体系的升级和优化,技术难题攻关,持续提升核心系统性能,保证系统的安全、稳定、高效运行
3. 设计并实现对BI分析、数据产品开发、算法开发的系统性支持
4. 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面参与制定并实践团队的技术发展路线
5. 建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队,提升数据研发能力
任职要求:
1. 有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径,能够开发创新而实际的分析方法以解决复杂的商业问题
2. 有作为技术负责人系统化解决问题的成功案例;有海量数据建模实践经验优先
3. 熟练掌握Hadoop、Spark、Flink、HBase的原理特性以及适用场景,精通流式计算开发,有开源二次开发经验者优先,有NLP数据处理经验者优先
4. 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力
5. 本科以上学历,扎实的计算机专业基础,有5年以上大数据平台开发经验;
更多相似范文
篇1:大数据架构师的岗位职责
职责:
2.精通Hadoop、Spark, HBase等主流的大数据平台、精通各组件优化设计原理;
3.精通大数据实时流式处理的设计和应用;
3.熟悉大数据平台调优,具备大数据生产平台调优经验;
4.金融行业,运营商行业大数据架构经验更优;
5.研究大数据技术的最新发展,并引入到公司技术架构;
6.指导大数据工程师的日常工作,并培养技术骨干。
任职资格:
1.计算机相关专业本科或以上学历;
2.具有5年以上大数据相关开发经验;
3.具有2年以上带团队经验
4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;
5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;
6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;
7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;
8.沟通顺畅,重点突出,高效。
篇2:数据仓库工程师的主要职责
职责:
1、负责ETL开发、作业调度和数据平台建设
2、负责数据仓库的设计、开发和优化,建立结构层次合理、灵活可扩展的数据仓库
3、设计并研发BI分析相关的数据产品
4、结合对数据的理解和业务需求,对数据进行整理、分析和挖掘
任职要求
1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验
2、有海量数据处理、ETL及作业调度优化、数据仓库建模等经验
3、熟悉Linux、SQL、Python或Java、Shell脚本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大数据技术使用经验
4、逻辑清晰,对数据敏感,深入了解业务,具备自己独特的想法并能提出合理的建议
篇3:大数据运维工程师的工作职责
职责:
1.负责卡中心开发测试环境的日常管理和维护工作。
2.负责与开发中心的开发人员沟通资源需求、统计资源状态。
3.负责KVM虚拟化的的日常运维,包括资源扩容、虚拟机分配、虚拟机性能优化、虚拟机迁移、P2V、镜像制作等操作。
4.负责IaaS平台,包括问题描述跟进、配合厂商分析问题、测试和解决。
5.协助对云计算平台进行日常的配置管理、更新、维护,负责系统架构和应用架构与云计算平台整合。包括服务器安装、应用部署、服务监控、故障处理。
6.负责开发测试虚拟机操作系统和数据库中间件的维护,负责基础软件的安装和配置。
7.负责总结经验,编写或修改文档,完善操作手册及知识库。
职位要求:
1.精通Linux操作系统,熟悉shell或python编程。
2.精通OpenStack整体架构,具备基于OpenStack实战部署运维经验。
3.精通KVM虚拟化,熟悉KVM、QEMU、libvirt、VirtIO虚拟化相关管理操作命令。
4.熟悉MySQL、postgreSQL等数据库维护。
5.熟悉nginx/redis以及负责均衡、web中间件的维护。
6.具有丰富的虚拟化故障应急处理能力与经验,动手能力强,分析、归纳水平高,具备精确快速的故障定位和处理能力。
7.熟悉基础二层网络、路由网络及虚拟化网络相关配置。
篇4:数据库管理员的具体职责范围
1.认真贯彻预防为主,防消结合的方针,贯彻落实逐级防火责任制,监督检查执行情况,广泛开展防火安全教育。
2.按时参加公司组织的卫生、消防检查,并在节假日、重大活动前重点检查,发现隐患及时提出改进措施,责成有关部门消除隐患。
3.及时发现重大火险隐患,确定重点防火部位。对重大火险隐患要作为重要环境因素加以控制和管理。严格控制明火作业、生活、生产等用火用电情况。
4.组织对重点工种的防火知识培训。
5.掌握公司生活区、办公区、仓库、原料摆放处等的分布情况做到心中有数。
6.以预防为主,做好现场的巡查工作,对现场的安全、消防、卫生工作负主要责任。
7.追查火灾事故原因及责任者,协助领导搞好调查处理工作。
篇5:数据库管理员的具体职责范围
职责
- 参与百度大商业数据库相关产品线上系统运维和自动化改进
- 协助开发人员进行数据库设计,对数据库设计进行分析和优化
- 制定和改进应急预案、策略和流程,应对突发性故障
能力要求
- 熟悉数据库设计,优秀的SQL编写及数据库问题定位和调优能力
- 熟悉MySQL或Oracle数据库的运行机制和体系架构
- 熟悉Linux操作系统,具备良好的Shell/Pell编程能力
- 有开源数据库(MySQL、PostgreSQL、NewSQL等)开发经验者优先
- 有强烈的上进心和求知欲,善于学习新事物,对技术充满激情
- 有开源数据库(MySQL、PostgreSQL、NewSQL等)开发经验优先
- 具备优秀的文档能力,使用文字、图示清楚地表达架构意图,能够熟练编写各类技术文档者优先
篇6:数据仓库工程师的主要职责
职责:
1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发,创建数据仓库、数据集市
2.熟悉数据仓库领域知识,从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、主数据管理、性能优化和调优。
3.负责数据仓库平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地
4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片
任职资格:
1. 本科或硕士以上学历,计算机工程相关专业
2. 熟悉大数据相关技术能力(Hadoop/MapReduce/Hive/Hbase等),熟练进行数仓Hive建设和软件架构,较强的数据抽象能力
3.精通SQL,具备海量数据处理和Hive/Spark性能调优经验,3年以上大规模分布式数据仓库建设经验
4.熟练使用Druid/Kylin之一进行数据挖掘模型设计,熟练掌握Java/Scala之一,具备良好的coding素养和习惯,了解脚本语言,如Python、Shell等
5.强烈的责任心,工作态度积极主动,有较好的团队精神和沟通能力,工作细致认真
篇7:数据分析经理的职责职能
职责:
1、负责全国渠道数据分析团队管理工作,制定团队工作方向及规划,并对工作结果负责(此“渠道”工作仅为加盟代理渠道相关工作);
2、根据业务经营数据,对渠道业务开展情况进行数据分析与挖掘,并对全国代理商合作情况进行管控和预警,定期出具各类渠道业务数据经营报表/报告;
3、应用数日常据分析结果,为销售团队管理者提供渠道销售策略、业务运营分析报告,并提出对应的解决办法及跟进管理;
4、对接各大区渠道总监,并负责各区域数据运营师工作的组织、沟通、协调等,以及协助领导处理渠道管理类的工作;
5、负责代理商数据分析、渠道管理流程的梳理及沟通协调工作;
6、基于渠道运营管理深入剖析代理商业绩增长点,提炼具体方案,推动管理项目的落地;
7、在部门领导的指导下,搭建全国渠道数据运营体系,并协助公司各类产品、系统等项目在渠道落地及推广。
任职资格:
1、本科或以上学历,统计、数学专业优先(无数据分析能力及办公软件操作熟练者,请勿投),6年以上工作经验。
2、至少3年以上数据分析/挖掘相关经验,对数字敏感,有较强的数据分析与应用能力,有渠道管理(或代理加盟商管理)经验优先;
3、思维清晰有条理,较好的沟通表达协调能力,有一定的创新意识;
4、精通office相关软件,能够用word、Excel、ppt实现工作所需;
5、有互联网或房地产行业行业经验优先。
6、能短期出差,出差范围为全国。
篇8:数据仓库工程师的主要职责
职责:
1.参与传统数仓和大数据数仓日常开发工作;
2.参与大数据仓库设计、规划和开发;
3.参与日常工作的优化,提出建设性意见;
4.负责管理项目,负责板块内的资源协调、进度管理、交付管理;
5.参与数据仓库、数据集市体系架构的设计、规划与开发, 参与大数据、ETL开发,sql性能优化。
任职要求:
1.全日制本科,计算机等相关专业。3年以上数仓开发经验,有银行、金融从业经验者优先。
2.2年以上项目管理经验,具备PMP证书优先.
3.熟悉oracle/hive/spark,熟悉数据处理和性能优化,有UDF自定义函数、MR开发经验优先;
4.熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一种脚本语言。
篇9:数据库管理员的基本职责
职责
1、负责数据库的日常操作、安装、配置、监控、负载均衡、实时备份、恢复和管理;
2、依据业务需求优化数据存储结构;
3、通过数据库的日常检查,对性能较差的SQL语句提出优化方案;
4、协助项目其他成员设计关键的SQL语句和触发器、存储过程、表等;
5、负责数据库架构设计、分布式缓存设计等,解决多种业务模式下的可扩展、高可用、负载均衡等关键技术问题.
任职要求
1、相关工作经验2年以上;
2、熟悉Linux系统,能编写Shell或Python脚本;
3、掌握数据库的高可用、迁移、扩容、备份恢复、性能监控;
4、熟悉Oracle、Mysql、Sql Server 数据库运行机制、体系架构,熟悉表结构和SQL优化;
5、熟练掌握Oracle数据库维护,能对业务需求和故障进行及时响应和处理,能解决Oracle RAC和DataGuard的故障;
6、熟练掌握MySQ数据库维护;掌握第三方配套工具Mycat、MMM、MHA等原理和实现及其故障排除;
7、熟悉Sql Server数据库维护.
篇10:数据仓库工程师的主要职责
职责:
1、基于ERP数据、用户数据、日志行为数据等构建数据中间层,为数据分析、数据挖掘、数据预测应用场景提供优质的基础数据;
2、深度挖掘数据价值,构建用户画像,挖掘潜在规律和关联用户行为,为业务产品决策提供数据依据。
3、对公司业务应用场景进行数据分析和决策支撑;
4、主导数据产品的设计;
5、配合软件工程师把模型落地,并对模型进行迭代优化。
任职要求:
1、数学、统计学,计算机类本科以上学历,有良好数学基础;
2、熟练掌握SQL语言,基本会使用SAS、Python、SPSS、R等其中一项挖掘分析软件;
3、有数据建模工作经验,良好的业务理解能力和模型抽象能力;
4、有海量大数据平台使用经验的优先考虑,有农业行业数据研究经验的优先考虑;
5、具有良好的沟通和团队协作能力,对业务有良好的理解能力和敏锐度。
篇11:数据仓库工程师的主要职责
职责:
1、负责公司数据库的日常巡检、常规故障维护、数据库优化、数据库的备份恢复
2、负责公司数据库的容灾环境的维护、数据库的升级、数据库的迁移
3、负责公司数据库的数据库系统linux、solaris的维护
4、负责公司数据库存储的维护
职位要求:
1、 三年以上oracle DBA/Sybase/mysql DBA工作经验,本科以上文凭
2、 熟悉oracle数据库的体系结构、逻辑结构,熟悉表空间管理,熟悉sql、pl/sql,熟悉oracle数据库的备份与恢复,熟悉oracle RAC、DATAGURD的搭建与管理,熟悉oracle数据库的性能优化,熟悉oracle的常规故障处理
3、 熟悉mysql 熟悉mysql集群的搭建与管理,熟悉mysql的备份与恢复,熟悉mysql数据库的性能优化与常规故障处理
4、 熟悉linux、unix(solaris),熟悉shell脚本的编写,熟悉sun小机维护、熟悉sybase数据库者优先考虑
5、具有良好的学习能力、沟通能力和团队合作能力。
6、有耐心,有服务意识
篇12:大数据运维工程师的工作职责
职责:
1、负责业务系统基础设施维护,保障服务器与数据库安全,检查并消除安全漏洞;数据备份、数据监控、应急响应、故障排除、编写数据分析报告等。
2、负责Linux服务器的配置,维护,监控,调优,故障排除,网络优化等;大用户量下高性能服务器系统部署方案的制定及实施;
任职要求(任意三条):
1、拥有对业务流向的逻辑理解能力,对软件相关流量中的安全性有所考虑,对安全设备、网络设备有了解。
2、熟悉centos/redhat系列linux系统,有2年以上linux系统工作经验;
3、熟悉常见的分布并发及负载均衡实现方案并有实际实施经验,有负载压力及并发量控制经验;
4、熟练掌握Linux系统及常见服务的安装配置,能灵活运用shell等相关脚本语言,熟悉mysql、Oracle等数据库的部署、配置、数据备份机制等;
5、熟悉apache,nginx,php,squid,lvs,haproxy,mysql,redis,java等服务的安装配置,有实际运维经验者优先;
6、负责Linux服务器的配置,维护,监控,调优,故障排除,网络优化等;大用户量下高性能服务器系统部署方案的制定及实施;
篇13:大数据运维工程师的工作职责
职责:
1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等,确保高可用;
2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;
3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;
4、设计实现大规模分布式集群的运维、监控和管理平台;
5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;
6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。
岗位要求:
1、掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;
2、熟练掌握Python, shell中的至少一门语言,有Python运维工具开发经验优先;
3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验,包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;
4、具有集群运维经验,以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;
5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;
6、精通ELK系统,有过大规模ELK配置管理、调优经验,有过ElasticSearch搜索和分析引擎开发经验者优先;
篇14:大数据运维工程师的工作职责
职责:
1、负责云服务器的配置、部署、监控等工作,并通过开发工具持续提升工作效率
2、熟悉运维相关技术,包括运维自动化技术,虚拟化技术,监控技术,网络技术,容器技术等;
3、协调开发,测试,运维等各个团队,推进公司DevOps相关工作,提高线上产品运行质量;
4、主动发现生产环境的问题和隐患,通过开源运维工具或自研运维工具提高公司运维交付能力;
5、能够运用主机监控、日志分析、APM、常用系统性能分析命令等工具进行复杂问题定位,快速响应和处理反馈的问题。
6、快速处理实际运行中遇到的各种系统故障,并对系统可能出现的故障问题进行预防;
7、负责生产环境网络设备、负载均衡设备及相关业务服务的配置、管理、优化等工作;
任职资格:
1、3年以上大中型在线系统运维工作经验(有互联网运维经验优先);
2、能熟练编写 Shell或Python脚本,有Python编程能力者优先;
3、熟悉Windows、linux系统及常见服务的安装配置优化,熟悉常见的负载均衡实现方案并有实际实施经验(例如 Haproxy、Nginx、OpenResty、LVS等);
4、熟悉NoSQL(Redis、MongoDB、Elasticsearch)、MQ使用场景,能对其进行安装、配置、调优及快速故障处理
5、熟悉服务器硬件安装与调优,能够熟练排查运维过程中出现的各种服务故障、系统故障、网络故障、安全攻击等问题,并进行快速处理响应。事后进行相关故障文档记录维护;
6、熟练数据库(SQL Server、MySQL)原理,能对数据库进行日常增删查改操作,高可用部署,性能调优;
7、了解Docker、Kubernetes、微服务、持续集成相关知识,有实际运维经验优先;
8、熟悉交换机、防火墙、路由器等网络设备的管理和维护,有阿里云、腾讯云、AWS等云平台的使用经验优先;
9、具有很强的学习能力,对新技术能深入学习,有良好的团队协作精神,勇于接受挑战并能够承受压力,乐于和团队分享技术
篇15:数据分析经理的职责职能
1、负责公司数据体系的建立、完善优化,建设公司数据相关机制和运转流程;
2、收集分析运营相关数据,预测销售趋势,合理预测每款每色需要补货数量;
3、制定季度合理的商品上市计划,确保店铺新品的及时上新;
4、根据商品生命周期理论对应季款进行分层,区分畅平滞销款式,判定调价及补单款式;
5、定期核对库存,减少商品超售的现象,降低公司损失;
6、负责ERP系统的完善、优化以及相关数据的分析;
7、协助仓库中心盘点,理清在途,生产中,已入库,质检中等个个环节的数据准确;
8、日常销售报表提供(日、周、月、季度);
9、关注商品尺码配比、颜色占比、可销售天数;为后期补货和分类做好数据源的准备;
10、竞品相关数据的收集与分析。
篇16:数据库管理员的具体职责范围
职责:
1、负责店铺销售的数据管理,确保各项原始数据的真实性和准确性;
2、负责店铺账务小票往来的核对,发现问题,及时上报处理。
3、盘点差异数据核查及原因分析;
4、协助上级定期对销售数据录入及统计分析,并将各项报表汇总上报;
5、根据报表进行货品进、销、存、退数据的综合分析;
6、上级领导交办的其他工作事务。
岗位要求:
1、 1年以上相关工作经验,具有零售或库存盘点工作经验优先考虑;
2、大专及以上学历,会计及统计等相关专业;
3、 熟悉ERP系统操作;
4、 熟悉EXCEL、WORD、PPT等办公软件的使用;
5、 做事认真,责任心强,沟通能力强,为人廉洁清正;
篇17:数据库管理员的基本职责
1. 实施整合,同步,导入和导出不同的内部和外部数据源。
2. 确保所有数据库都根据业务的恢复目标进行备份和测试。
3. 创建和部署数据库脚本。
4. 规划和监控生产,开发和备份环境中的数据库容量和安全性。
5. 配置数据库监控工具和工作。
6. 安装和配置新的数据库服务器和软件。 排除故障并解决可靠性和性能问题。
7. 制作数据库环境文件。
8. 负责数据库服务端性能参数优化(含操作系统、文件系统、硬件设备的性能参数优化)。
9. 负责跟踪、及时响应和解决公司平台项目在客户方的上线过程中出现的数据库相关技术问题。
篇18:数据库管理员的基本职责
职责:
1、负责公司主流数据库平台部署、系统安装、配置和管理;
2、配合系统实施团队提供数据库管理服务,对系统和业务数据进行统一存储、数据备份和容灾管理,制定和优化相关制度,并定期演练和进行数据有效性验证;
3、负责数据库日常备份与恢复管理,负责主流数据库日常运维,包括数据库报警排查、数据库运行状况进行监控,及时对故障进行处理,并分析故障原因,记录解决文档;
4、研究数据库架构、分布式存储和开展数据库优化等技术,提高系统的稳定性和健壮性。
任职要求:
1、全日制统招本科及以上学历,计算机相关专业;
2、具备3年及以上大型数据库管理和运维经验,能够独立承担大型数据库的运维工作;
3、精通主流的数据库系统的安装、配置、升级、维护、调优等工作;
4、较强的PL/SQL编程功底和脚本编写能力,具备数据库相关表结构及数据库的开发、设计、优化经验,具备数据库相关认证者为佳;
5、具备优秀的职业道德素养,保密意识强;
6、熟练的英语读写能力,具备较强的沟通协调能力。
篇19:数据分析经理的职责职能
职责:
1. 负责天猫等各电商渠道数据的采集和分析,通过对品类、SKU进行市场分析,根据销售环节的反馈,能为客户品牌提供潜在市场、爆款选择、营销评估、推广策略、运营诊断等方案;
2. 监控客户品牌的天猫运营数据、解读运营数据的波动,从而发现问题,并提出相应的解决方案,洞察业务动作,提供决策基础;
3. 必须熟悉业务板块内容(天猫、淘宝);具备一定的资源对接能力。
4. 根据业务部门需求,提供必要的天猫&淘宝数据支持服务;
5、承担分析报告撰写的主笔工作。
岗位要求:
1. 本科及以上学历,统计学、信息技术、金融学及相关专业优先;
2. 2年以上电商数据分析及运营经验,对快消、互联网、零售等行业及商业模式有一定的了解,对数据有较高的敏锐性,具有知名电商品牌同等岗位经验优先;
3. 能熟练使用Offices软件,有较强的数据挖掘、分析和建模能力;擅长撰写各类分析报告;良好的数据敏感度,能从海量数据中提炼出核心结果。
4. 良好的沟通与表达能力,能与客户对接需求,工作负责,有团队协作精神。
篇20:数据库管理员的具体职责范围
职责:
1,维护数据库的日常运维、数据安全、性能优化、故障处理及前沿技术研究,包括备份和恢复,容灾策略,水平扩展,性能优化,日志分析,数据迁移等。
2,精通大规模linux环境下数据库运营和维护。
3.开发数据库自动化运维平台。
4.定期进行性能检测、分析、调优、保障数据库系统高效安全及稳定运行。
5.配合完成特殊需求,如数据提取,数据修改及报表相关开发。
6.领导交办的其他事宜。
任职资格:
1.全日制大学本科以上学历,熟悉关系型数据库理论者优先;
2.熟悉MySQL数据库的架构原理,能熟练进行数据库设计、开发、维护和调优;
3.熟悉Linux操作系统,有SQL开发经验者优先;
4.具有较强的基于MySQL数据库的分析能力;
5.具有广阔的技术视野,对新技术有很强的敏感性;
6.有大数据部署实施经验者优先考虑,了解Redis,MongoDB,Hadoop优先;
7.掌握shell、perl、python中至少一种语言。
8.工作细致,性格稳定,良好的学习能力、沟通能力和团队协作能力。