教育经费数据（汇编20篇）

甲方：_________

地址：_________

乙方：_________

地址：_________

1、总则：

甲方根据_________数据通讯业务需要，与乙方共同建设_________数据通信业务平台。甲乙双方在自愿、平等、互利、友好的基础上，经协商一致，达成各项协议如下。

2、甲方的权利和义务：

(1)甲方应向乙方无偿提供进入大楼的专线引入孔位及大楼内的井道，方便乙方专线接入。

(2)甲方有权随时向乙方了解网络建设、运行和业务开通情况，享受乙方公示的大客户特殊服务和各项优惠政策。

(3)甲方有权在乙方提供的_________数据通信业务规定的范围内，向乙方提出相关的技术支持和要求。

(4)甲方负责自备设备的运行维护，并有义务保证乙方设备在用户端所要求的安全运行环境。

3、乙方的权利和义务：

(1)乙方应根据国家信息产业部的有关规定开展业务，并对此业务的合法性负责。

(2)乙方应按时向甲方通报网络建设情况和提供相关的技术支持。

(3)乙方对自己的网络进行调整前，以书面形式提前24小时通知甲方，引起甲方业务中断时间超过半小时的调整不能在甲方正常工作时间进行。乙方应确保专线的正常运行，并负责专线的日常维护和检修。

4、通信业务服务内容：

无线上网数据业务应用。

5、通信业务开通的前期准备工作：

开通_________无线上网数据通信业务;

甲方前期的准备工作为：

6、安全保障：

(1)乙方负责省厅(包括各厅管、厅属单位)及各市(包括下属各单位)(以下简称交通系统各单位)_________卡的发放及登记工作;

(2)乙方给交通系统各单位发放_________卡后，自发放之日起10个工作日内以书面形式通知甲方备案。

(3)乙方要确保_________卡发放的安全，绝不允许_________卡发放到本省交通系统以外的单位或个人，否则甲方有追究乙方责任的权利，所产生费用甲方不承担，引起的法律与经济后果也由乙方承担。

7、通信业务使用期限：

甲乙双方同意_________无线上网通信业务的期限为：自________年____月____日至________年____月____日止。

8、结算方式：

(1)双方结算人：由乙方下属分公司分别向交通系统各单位的结算单位进行结算。

(2)票据的出具：乙方下属分公司负责向费用结算的机构出具有效票据。

(3)结算日期：以正式开通日为起始日。

(4)甲方有责任协助乙方完成对其所属各地市结算单位的结算工作。

9、保密条款

本协议所涉及的有关资费、商业信息，均属于商业机密，只限于签约双方及下属机构为实现本协议及相关补充协议内容时内部使用。双方不得全部或部分地复制、传递给他方。违反者将承担由此给对方造成的今后经济损失，并承担相应的法律责任。

10、争议解决条款：

11、协议生效、有效期限及终止条款：

本协议有效期限为________年，自双方签字盖章之日起计算，________年____月____日至________年____月____日止。

协议期限届满之前的两个月内，如任何一方均未以书面形式提出解除或终止本协议，本协议自行延续________年，以此类推。

协议期限届满之前的两个月内，如任何一方以书面形式提出解除或终止本协议，本协议期限届满时自行解除或终止。

12、违约责任：

(1)乙方应在费用产生后以书面形式通知甲方及交通系统各单位尽快缴纳费用，在此期间乙方不得终止为甲方及交通系统各单位的服务，否则乙方须赔偿一定费用(即免去当次所属单位应缴费用)。

(2)如甲方或交通系统各单位不按时向乙方缴纳费用，乙方有权根据本协议第十三条(滞纳金条款)的规定收取滞纳金。

13、附则

(1)本协议自双方签字盖章之日起生效。

(2)本协议的附件为本协议的组成部分，具有同等法律效力。

(3)本协议自双方签字盖章之日起，双方签订的战略合作协议同时取消。

(4)本协议一式肆份双方各执贰份，未尽事宜可在补充协议中另行规定，补充协议与本协议具有同等法律效力。

甲方(盖章)：_________

乙方(盖章)：_________

________年____月____日

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历，计算机相关专业，5年以上工作经验;

2)频繁换工作，比如一年一个公司，请绕路;

3)3年以上产品架构经验，主导过产品的成功上线;

4)对底层设备通讯协议，B/S系统，手机APP开发等都有一定的了解;

5)对各种主流语言C#JavaPathon有一定的了解

5)精通各种大数据架构，并深入研究过其中一种，有stormkafka等流式实时处理经验为佳

6)能够承担较强的工作压力，有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

职责：

1.负责现场项目布署更新维护。

2.负责Oracle的新环境搭建工作，包括进行安装、配置、部署、等工作。

3.负责Oracle的变更实施，包括补丁安装、参数及配置调整、表空间调整、数据迁移等。

4.负责Oracle的性能监控和优化工作。

5.解答及处理用户使用软件中的问题。

任职要求：

1.计算机相关专业，两年以上工作经验优先考虑;

2.熟悉linux系统，能够熟悉linux命令，能编写shell、Python脚本优先考虑;

3.熟悉Oracle的安装、部署、参数配置、性能调优、问题诊断、备份恢复、数据迁移;

4.能熟练配置tomcat、weblogi、nginxc等中间件;

5.具备团队合作意识，能够主动总结和分享自己的工作经验。

职责：

1、负责编制相关数据分析报表和日常统计报表，形成定期资产组合分析报告;

2、负责资产数据及核心运营数据监控及预警，对于异常数据进行分析，并在需要的情况下开展专项资产分析，为业务策略、授信策略、产品策略等完善提供数据支持;

3、优化以及完善资产组合制度体系;

4、协同IT进行数据库以及系统流程优化以及完善，对数据进行有效提取、整合、清洗，提高数据质量;

5、搭建有关信用风险评级模型和工具。

任职要求：

1、金融、统计学、财务、数学、计算机、信息管理等相关专业，全日制本科及以上学历;

2、三年以上数据分析、挖掘工作经验，具备融资租赁、银行资产或风控数据分析背景优先;

3、擅长数据处理分析，能够熟练使用各办公软件，制作各类数据图表、报告;

4、逻辑思维缜密，对数据敏感，具有较强的数据搜集、整合、分析能力。

数据分析工作总结

在数据分析岗位一年以来，在公司部门领导和党支部的的正确领导下，认真贯彻执行党的各项方针、政策，紧紧围绕公司开展的“积极主动谋发展，务实奋进争一流”的主题实践活动，深入学习实践科学发展观，全面完成了各项工作目标，现简单的向领导汇报一下我一年来的工作情况。

一、 虚心学习，不断提高政治素质和业务水平。

作为一名党员和公司的一份子，具备良好的政治和业务素质是做好本职工作的前提和必要条件。一年来，我一方面利用工作和业余时间认真学习了科学发展观、十一届全国人大二次会议和在中纪委十七届三次全会上的讲话精神，进一步提高了自己的党性认识和政治水平；一方面虚心向周围的领导、同事学习工作经验、工作方法和相关业务知识，取人之长，补己之短，加深了与各位同事之间的感情，同时还学习了相关的数据库知识，提高了自己在数据分析和处理上的技术水平，坚定了做好本职工作的信心和决心。

二、 踏实工作，努力完成好领导交办的各项工作任务。

一年来，在主管的带领和同事们的支持下，自己主要做了以下几项工作：

一是认真做好各项报表的定期制作和查询，无论是本部门需要的报表还是为其他部门提供的报表。保证报表的准确性和及时性，并与报表使用人做好良好的沟通工作。并完成各类报表的分类、整理、归档工作。

二是协助主管做好现有系统的维护和后续开发工作。包括topv系统和多元化系统中的修改和程序开发。主要完成了海关进出口查验箱报表、出口当班查验箱清单、驳箱情况等报表导出功能以及龙门吊班其他箱量输入界面、其他岗位薪酬录入界面的开发，并完成了原有系统中交接班报表导出等功能的修改。同时，完成了系统在相关岗位的安装和维护工作，保证其正常运行。

三是配合领导和其他岗位做好各种数据的查询、统计、分析、汇总工作。做好相关数据的核实和上报工作，并确保数据的准确性和及时性。

四是完成领导交办的其他工作，认真对待，及时办理，不拖延、不误事、不敷衍，尽力做到让领导放心和满意。

三、存在的不足和今后的努力方向

一年来，在办公室领导和同事们的指导帮助下，自己虽然做了一些力所能及的工作，但还存在很多的不足：主要是阅历浅，经验少，有时遇到相对棘手的问题考虑欠周密，视角不够灵活，缺乏应变能力；理论和专业知识不够丰富，导致工作有时处于被动等等。

针对以上不足，在今后的工作中，自己要加强学习、深入实践、继续坚持正直、谦虚、朴实的工作作风，摆正自己的位置，尊重领导，团结同志，共同把办公室的工作做细做好。

一年来，企业数据统计工作在地方领导的关怀下，认真贯彻执行《法》和统计规章制度，经过全体统计工作者的积极努力、辛勤工作，较好地完成了统计工作任务。下面总结下20xx年从事数据文员的工作：

一、一年来度统计工作开展情况

1、逐步建立健企业统计规章制度，加强统计管理工作

为保证《法》及其的贯彻实施，结合我企业实际，有力地促进了统计工作的制度化建设，使企业统计工作基本做到了有法可依、有章可循统计工作者依法统计意识不断增强。企业统计工作逐步向规范化方面发展，基本做到了“专业实施、归口管理”。

2、加强统计基础工作建设，提高统计工作水平

一是不断建立健全企业统计规章制度，规范统计工作程序，严格落实统计人员岗位责任制，保证统计数据的准确性、及时性和全面性。

二是加强统计人员队伍建设，提高统计人员素质。

三是加强基层信息质量考核，统计检查时重点检查基层原始记录、统计基础台帐、统计资料的管理、统计数据是否真实准确，促进了统计资料积累的制度化、规范化和标准化。

3、加强统计执法检查，努力提高统计数据质量

根据统计工作的要求和企业《xx办法》的规定，在全企业范围内开展了统计工作执法大检查。统计部门就统计工作开展与执行情况进行了认真自查，自查率达100%；统计部门对本专业基层统计工作进行抽查，并将检查报告和检查表报企业企管部。通过统计大检查，进一步贯彻了《法》及其，较好地执行了企业的统计工作管理办法，提高了统计人员依法统计的意识，促进了基层统计基础工作的规范化，从源头上保证统计数据的质量，推动了企业统计工作的发展和提高。

二、当前文员工作中存在的问题和不足

在一年来文员工作中，虽然取得了一些成绩，但我们工作中还有很多不尽人意之处，当前搞好统计工作，还存在着以下一些问题和困难：

1、对统计工作的认识不足、重视不够。一些人认为统计工作可有可无，统计数字可以马虎对付。这种思想势必影响统计工作的进一步开展，进而给企业经营生产带来负面影响。

2、统计归口管理职能仍需加强。归口管理的职能虽然在逐步加强，但由于长期以来各专业统计各自上报，缺乏沟通，数出多门，造成同一统计指标出现多个数据的混乱局面。

3、统计执法检查力度有待加强。近一年，企业虽然按统计规章进行了统计执法检查工作，但由于思想上对统计工作的重视不够，统计自查流于形式，走走过场；加之组成检查组需抽调相关部门人员，牵涉面大，致使统计抽查工作不能全面展开，局限在狭小范围，不利于统计工作的正常开展。

三、意见和建议

1、希望企业加强对统计工作方面的业务指导。加强信息交流，取长补短，以推动企业统计工作的全面提高。

2、希望企业通过开办数据统计分析培训班、组织统计工作经验交流会等多种形式培训统计人员，以提高统计人员对统计资料的分析能力，使统计工作更好地为企业生产经营服务。

职责：

1.负责网络系统及部分应用系统的管理和运维;

2.硬件维护主要包括PC机/笔记本电脑/打印机/考勤机等终端设备的调配及维护并妥善记录;

3.协助用户解决用户网络运维问题，远程或现场支持用户的项目实施及运维操作;

4.对日常问题进行跟进，并做好记录，定期提交相关运行报告和工作记录报告;

5.完成上级交办的其他工作。

任职要求：

1.计算机相关专业专科以上学历，男女不限

2.掌握基本网络知识，网络故障排查

3.熟悉网络软硬件产品，能进行基本的安装调试;

4。具有较强的沟通及组织协调能力、学习能力及较强的团队合作精神

5.具有高度的责任心、独立工作的能力并具备较强的分析、判断和解决问题能力

6.能接受外派常驻。

数据分析员工作自我总结

以下一篇是一名数据分析员的工作自我总结：

一、 虚心学习，不断提高政治素质和业务水平。

作为一名党员和公司的一份子，具备良好的政治和业务素质是做好本职工作的前提和必要条件。一年来，我一方面利用工作和业余时间认真学习了科学发展观、十一届全国人大二次会议和在中纪委xx届三次全会上的讲话精神，进一步提高了自己的党性认识和政治水平；一方面虚心向周围的领导、同事学习工作经验、工作方法和相关业务知识，取人之长，补己之短，加深了与各位同事之间的感情，同时还学习了相关的数据库知识，提高了自己在数据分析和处理上的技术水平，坚定了做好本职工作的信心和决心。

二、 踏实工作，努力完成好领导交办的各项工作任务。

一年来，在主管的带领和同事们的支持下，自己主要做了以下几项工作：

一是认真做好各项报表的定期制作和查询，无论是本部门需要的报表还是为其他部门提供的报表。保证报表的准确性和及时性，并与报表使用人做好良好的沟通工作。并完成各类报表的分类、整理、归档工作。

二是协助主管做好现有系统的维护和后续开发工作。包括topv系统和多元化系统中的修改和程序开发。主要完成了海关进出口查验箱报表、出口当班查验箱清单、驳箱情况等报表导出功能以及龙门吊班其他箱量输入界面、其他岗位薪酬录入界面的开发，并完成了原有系统中交接班报表导出等功能的修改。同时，完成了系统在相关岗位的安装和维护工作，保证其正常运行。

三是配合领导和其他岗位做好各种数据的查询、统计、分析、汇总工作。做好相关数据的核实和上报工作，并确保数据的准确性和及时性。

四是完成领导交办的其他工作，认真对待，及时办理，不拖延、不误事、不敷衍，尽力做到让领导放心和满意。

三、存在的不足和今后的努力方向

一年来，在办公室领导和同事们的指导帮助下，自己虽然做了一些力所能及的工作，但还存在很多的不足：主要是阅历浅，经验少，有时遇到相对棘手的问题考虑欠周密，视角不够灵活，缺乏应变能力；理论和专业知识不够丰富，导致工作有时处于被动等等。

针对以上不足，在今后的工作中，自己要加强学习、深入实践、继续坚持正直、谦虚、朴实的工作作风，摆正自己的位置，尊重领导，团结同志，共同把办公室的工作做细做好，为公司的事业贡献自己的一份力量。

农村统计数据质量自查报告

农村统计数据质量自查报告第一篇：

X镇为进一步提高源头数据质量，夯实农村统计基础工作，提升农村统计工作水平，适应形势发展需要，根据盛市部署，结合本地农村统计工作的实际，在全镇范围内深入开展了农村统计调查基础工作和数据质量大检查自查，现将有关情况汇报如下：

一、高度重视、加强领导、推动统计数据质量检查顺利开展

《关于开展农村统计调查基础工作和数据质量大检查的通知》以来，我们迅速召开党政联席会议和全镇专题工作会议，重点学习了盛市通知精神和《农村统计调查基础工作和数据质量大检查方案》，使全镇上下明确了此次检查工作的实际意义和工作方法，进一步增强了落实通知精神的自觉性;同时结合实际，下发了《00000镇关于开展农村统计调查基础工作和数据质量大检查的通知》，成立了以镇长任组长，分管农业的副镇长任副组长，统计站等有关部门负责人为成员的领导小组，为把通知精神传达好，贯彻好，落实好打下了组织基矗

二、夯实基储健全机制，确保统计工作质量检查成效显著

统计工作的高质量是统计数据准确性、科学性的保证，其关键在于基层。近年来，我们加大投入，加强了镇村统计队伍建设，累计投入万元，为镇统计站配备了微机等办公用品，购置齐全了各种硬件，实现了磁盘保送、网上发送，使其更好地发挥组织领导和综合协调统计工作的职能。健全统计网络，坚持保障经费、落实待遇、提高素质，保持了工作的连续性。逐步建立健全统计原始证录、统计台帐制度和岗位目标责任制度，推动了整体工作的规范化、制度化。每年至少开展两次大检查，促进了统计基础工作的规范、科学，统计数据的准确、详实。围绕此次检查，我们进一步健全了党政领导成员包管区、机关工作人员包村的包保责任制度，确保了各项工作的落实。

三、严格执法、稳妥推进，全面开展统计调查数据质量检查

我们严格按照《山东省农村统计调查基础工作和数据质量大检查方案》，结合00000实际，采取自查、抽查和复查等形式对镇、调查村、调查户农村统计调查数据进行了全面检查。工作中，统计、财政、经管、经贸委等部门积极配合，切实做到了有法必依，执法必严，违法必究，共查处各类违法、违章案件起，纠正数据错误处，具体包括以下几个方面的问题：一是部分村不够重视统计工作，统计制度不健全，统计信息闭塞，档案资料归档不及时、不规范，统计人员变动相对频繁，档案未及时移交，严重影响了统计工作的连续性;二是统计工作服务水平整体偏低，部分村没有按时整理年度资料和历史资料，不能做到定期编写年度、季度统计分析报告;三是统计数据质量有待提高，没有做到“村组数据与乡镇上报数据一致，乡镇数据与上报市级数据一致”，报表数据逻辑性差，一些统计数据计算错误，指标含义混淆。

四、强化措施、积极整改，推动农村统计工作再上台阶

针对检查发现的问题，为进一步提高统计调查数据质量，推动农村统计工作再上台阶，我们提出了切实可行的整改方案和明确了下步努力方向。一是强化数据质量意识，进一步提高各级对农村统计工作的重视程度。二是健全工作制度。逐步健全日常工作、责任分工、目标考核、奖惩约束等一系列制度，严格落实，确保工作制度化、规范化。三是改进工作方法。推广“三查三审三比较”的方法，三查即：一查逻辑和数量关系;二查计量单位是否准确;三查属性指标是否正确。三审即：一是村级统计自审;二是乡镇汇总初审;三是计算机审核。三比较即：帐表、帐实数据比较;上下级单位数据比较;本期数据与前期基数比较。四是加大统计执法力度。在日常督促检查的同时，根据工作实际，适时开展统计专项治理。

农村统计数据质量自查报告第二篇：

市统计局:

今年以来，我乡认真贯彻落实农村统计调查基层基础工作，严格按照市统计局的要求，认真规范农村统计数据质量，圆满完成各项工作。现根据《万源市统计局关于开展农村统计数据质量检查的通知》精神，结合我乡实际，认真开展自查活动，现就相关情况汇报如下：

一、高度重视，周密部署，全面开展自查

按照市统计局的文件精神，我乡迅速研究部署，建立健全统计结构。自查活动由我乡农村统计调查基层基础工作领导小组副组长牵头，及时传达文件精神，组织检查工作。自查反映出我乡农村统计工作基础可靠，数据来源均为实地调查所得，与实际相符，农村统计数据真实可信，并按照上级有关部门要求做到如实上报。同时，我乡在进行农村统计工作中，能严格执行统计法，无违反统计法情况存在。今后，我乡将进一步强化措施，继续努力，保持统计调查数据质量，一如既往地严格按照上级有关要求做好农村统计基层基础工作。

二、确保统计质量，规范统计台帐

20xx年度全乡共有2819户11570人，其中农业户数2569户11032人，乡村实有劳力6254人。年末耕地面积6010亩，水田3717亩，全年农作物播种面积19250亩，其中粮食作物播面13200亩，总产4270吨，小春粮食作物播面2400亩，总产750吨。农村经济总收入8371万元，农民所得总额4407万元，农民人均纯收入3995元。

对20xx年年报及20xx年定期报表的数据质量及工作进行了自查，自查结果与上报市农业局数据完全一致，这真实反映了我乡的社会、经济发展进程，为今后我乡又好又快发展提供了强有力的数字依据。

二○一二年八月十四日

职责

1、参与打造数据中内容的规划、设计、开发和优化工作，实现高质量数据的互通与共享;

2、参与数据模型体系构建及数据主题设计和开发，搭建离线、实时数据公共层;

3、参与数据产品与应用的数据研发，发掘数据商业价值，打造极致体验的数据产品;

4、深入理解数据产品的使用场景，为业务方在可用性、成本上做更好的设计做参考;

5、团队成员的搭建与培养，任务划分，进度监控，代码规范，质量保证。

任职要求

1、熟悉数据仓库建模理论，3年以上相关领域实践经验;

2、Hadoop、Hive、Hbase、Storm、Spark等技术框架;

3、精通Java、Python、Scala、go等开发语言中的1到2种;

4、熟练使用Python/Java/scala或其他语言进行复杂业务逻辑的数据处理工作，具备海量数据处理以及性能优化的能力;

5、对MySQL、Redis、HBase等数据库有一定的了解和使用经验;

6、对olap，多维分析及kylin熟悉的更好;

7、思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力;

8、对新技术，新事物有很好的探索和求知欲;

9、熟悉常规的机器学习算法：降维(PCA、SVD)、SVM、逻辑回归(LogisticsRegression)、决策树(GBDT、RandomForest)、关联规则(Apriori、FP-Growth)、聚类(K-Means)等优先。

职责：

1、负责大数据平台架构的评估、规划和设计 ;负责海量数据采集、处理及存储、应用方案的技术选型及架构实现;

2、开发大数据平台的核心代码，负责大数据平台的搭建，完成系统调试、集成与实施，技术难题的解决，保证大数据产品的上线运行 ;

3、根据业务需求持续优化数据架构，保证产品的可靠性、稳定性 ;

4、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现 ，分享技术经验;

5、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;

6、深入研究大数据相关技术和产品，跟进业界先进技术;

任职资格：

1.本科及以上学历，数学或计算机相关专业毕业，不少于5年的工作经验，具有扎实的计算机基础理论知识;

2.有3年以上Hadoop、Spark、Hbase平台性能调优经验;熟悉sparkstreaming等实时计算技术

3.熟悉hive、hbase、storm、mahout、flume、ElasticSearch、Spark、Kafka等，具备实际项目设计及开发经验;

4.熟悉sparkstreaming等相关的实时计算技术;

5.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术，并具备多年的实际工作经验;

6.熟悉主流关系型数据库(Oracle、MySql)、NoSql数据库，熟悉pl/sql编程;精通Linux操作系统，熟练使用Java;熟悉常用框架.如Spring、MyBatis等;

7.具有较强的执行力，高度的责任感、很强的学习、沟通能力，能够在高压下高效工作;

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉Hadoop相关技术，对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

3、熟悉Linux，熟练使用Shell或Python，进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术：Oracle、SQL Server、MySQL等;

6、掌握实时流计算技术，有Spark、Storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

职责：

1、负责Hadoop、HBase、Hive、Spark等大数据平台 规划、部署、监控、系统优化等，确保高可用;

2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及性能优化;

3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技及发展方向;

6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

岗位要求：

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

2、熟练掌握Python, shell中的至少一门语言，有Python运维工具开发经验优先;

3、熟悉 Hadoop生态及高性能缓存相关的各种工具并有实战经验，包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有集群运维经验，以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;

6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过ElasticSearch搜索和分析引擎开发经验者优先;

一、数据量过大，数据中什么情况都可能存在。

如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

二、软硬件要求高，系统资源占用率高。

对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

三、要求很高的处理方法和技巧。

这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

下面我们来详细介绍一下处理海量数据的经验和技巧：

一、选用优秀的数据库工具

现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQLServer20xx性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQLServer20xx需要花费6小时，而使用SQLServer20xx则只需要花费3小时。

二、编写优良的程序代码

处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。

三、对海量数据进行分区操作

对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQLServer的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。

四、建立广泛的索引

对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。

五、建立缓存机制

当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。

六、加大虚拟内存

如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096*6+1024=25600M，解决了数据处理中的内存不足问题。

七、分批处理

海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

八、使用临时表和中间表

数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。

九、优化查询SQL语句

在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。

十、使用文本格式进行处理

对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。

十一、定制强大的清洗规则和出错处理机制

海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。

十二、建立视图或者物化视图

视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

十三、避免使用32位机子（极端情况）

目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

十四、考虑操作系统问题

海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

十五、使用数据仓库和多维数据库存储

数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

十六、使用采样数据，进行数据挖掘

基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。

还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。

海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

一年来，企业数据统计工作在地方领导的关怀下，认真贯彻执行《_法》和统计规章制度，经过全体统计工作者的积极努力、辛勤工作，较好地完成了统计工作任务。下面总结下20__年从事数据文员的工作：

一、一年来度统计工作开展情况

1、逐步建立健企业统计规章制度，加强统计管理工作

为保证《_法》及其《_》的贯彻实施，结合我企业实际，有力地促进了统计工作的制度化建设，使企业统计工作基本做到了有法可依、有章可循统计工作者依法统计意识不断增强。企业统计工作逐步向规范化方面发展，基本做到了“专业实施、归口管理”。

2、加强统计基础工作建设，提高统计工作水平

一是不断建立健全企业统计规章制度，规范统计工作程序，严格落实统计人员岗位责任制，保证统计数据的准确性、及时性和全面性。

二是加强统计人员队伍建设，提高统计人员素质。

三是加强基层信息质量考核，统计检查时重点检查基层原始记录、统计基础台帐、统计资料的管理、统计数据是否真实准确，促进了统计资料积累的制度化、规范化和标准化。

3、加强统计执法检查，努力提高统计数据质量

根据统计工作的要求和企业《_办法》的规定，在全企业范围内开展了统计工作执法大检查。统计部门就统计工作开展与执行情况进行了认真自查，自查率达100%;统计部门对本专业基层统计工作进行抽查，并将检查报告和检查表报企业企管部。通过统计大检查，进一步贯彻了《_法》及其《_》，较好地执行了企业的统计工作管理办法，提高了统计人员依法统计的意识，促进了基层统计基础工作的规范化，从源头上保证统计数据的质量，推动了企业统计工作的发展和提高。

二、当前统计工作中存在的问题和不足

在一年来统计工作中，虽然取得了一些成绩，但我们工作中还有很多不尽人意之处，当前搞好统计工作，还存在着以下一些问题和困难：

1、对统计工作的认识不足、重视不够。一些人认为统计工作可有可无，统计数字可以马虎对付。这种思想势必影响统计工作的进一步开展，进而给企业经营生产带来负面影响。

2、统计归口管理职能仍需加强。归口管理的职能虽然在逐步加强，但由于长期以来各专业统计各自上报，缺乏沟通，数出多门，造成同一统计指标出现多个数据的混乱局面。

3、统计执法检查力度有待加强。近一年，企业虽然按统计规章进行了统计执法检查工作，但由于思想上对统计工作的重视不够，统计自查流于形式，走走过场;加之组成检查组需抽调相关部门人员，牵涉面大，致使统计抽查工作不能全面展开，局限在狭小范围，不利于统计工作的正常开展。

三、意见和建议

1、希望企业加强对统计工作方面的业务指导。加强信息交流，取长补短，以推动企业统计工作的全面提高。

2、希望企业通过开办数据统计分析培训班、组织统计工作经验交流会等多种形式培训统计人员，以提高统计人员对统计资料的分析能力，使统计工作更好地为企业生产经营服务。

甲方：

乙方：_______市_______软件科技有限公司

双方经平等协商同意，自愿签订本协议，共同遵守本协议所列条款。

1.保密的内容和范围

(1)涉及甲方具体的信息，包括甲方使用xtoolscrm保存在乙方服务器上的数据。

(2)凡以直接、间接、口头或书面等形式提供涉及保密内容的行为均属泄密。

2.双方的权利与义务

(1)乙方应自觉维护甲方的利益，严格遵守本委托方的保密规定。

(2)乙方不得向任何单位和个人泄露所掌握的商业秘密事项;

(3)乙方不得利用所掌握的商业秘密牟取私利;

(4)乙方了解并承认，通过系统甲方会将有具有商业价值的业绩资料(保密信息)保存于xtoolscrm的服务器上，并且由于技术服务等原因，乙方有可能在某些情况下访问这些数据。乙方承认，如果这些数据未经许可披露给他人，有可能使甲方蒙受损失。

(5)乙方同意并承诺，对所有保密信息予以严格保密，在未得到甲方事先许可的情况下不披露给任何其他人士或机构。

(6)乙方同意并承诺，无论任何原因，服务终止后，乙方不可恢复地删除服务器上的任何保密信息，并不留存任何副本。同时，乙方保证退回甲方保存在乙方服务器上的任何含有保密信息的文件或资料(如有)。

3.本《协议》项下的保密义务不适用于如下信息：(i)非由于乙方的原因已经为公众所知的;(ii)由于乙方以外其他渠道被他人获知的信息，这些渠道并不受保密义务的限制;(iii)由于法律的适用、法院或其他国家有权机关的要求而披露的信息。此协议至签字之日起生效。

甲方代表人

甲方代表人(签名)：

单位盖章

________年____月____日

乙方法定代表人或乙方代表人(签名)：

单位盖章

________年____月____日

职责：

1、负责和参与公司大数据基础架构平台规划，运维，监控和优化工作，保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;

4、负责优化部门运维流程提升运维效率。

任职要求：

1、统招本科及以上学历，计算机相关专业，2年以上互联网运维工作经验;

2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置，管理及优化，能够独立排查及解决操作系统层的各类问题;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;

4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;

5、具有很强的责任心、执行力、服务意识、学习能力和抗压能力;

6、具备较好的沟通能力、主动性和团队合作精神。

职责：

1、负责全国渠道数据分析团队管理工作，制定团队工作方向及规划，并对工作结果负责(此“渠道”工作仅为加盟代理渠道相关工作);

2、根据业务经营数据，对渠道业务开展情况进行数据分析与挖掘，并对全国代理商合作情况进行管控和预警，定期出具各类渠道业务数据经营报表/报告;

3、应用数日常据分析结果，为销售团队管理者提供渠道销售策略、业务运营分析报告，并提出对应的解决办法及跟进管理;

4、对接各大区渠道总监，并负责各区域数据运营师工作的组织、沟通、协调等，以及协助领导处理渠道管理类的工作;

5、负责代理商数据分析、渠道管理流程的梳理及沟通协调工作;

6、基于渠道运营管理深入剖析代理商业绩增长点，提炼具体方案，推动管理项目的落地;

7、在部门领导的指导下，搭建全国渠道数据运营体系，并协助公司各类产品、系统等项目在渠道落地及推广。

任职资格：

1、本科或以上学历，统计、数学专业优先(无数据分析能力及办公软件操作熟练者，请勿投)，6年以上工作经验。

2、至少3年以上数据分析/挖掘相关经验，对数字敏感，有较强的数据分析与应用能力，有渠道管理(或代理加盟商管理)经验优先;

3、思维清晰有条理，较好的沟通表达协调能力，有一定的创新意识;

4、精通office相关软件，能够用word、Excel、ppt实现工作所需;

5、有互联网或房地产行业行业经验优先。

6、能短期出差，出差范围为全国。

20xx年以来，本人在局党委的正确领导下，在各兄弟处室和同道们的大力支持和积极配合下，以学习实践科学发展观为指导，牢牢围绕年初局党委制定的中心工作，加强学习，自我要求，勤勤奋恳办事，清清白白做人，爱岗敬业，认真履职，廉洁自律，较好的完成各项目标任务，现就述德、述学、述职、述法、述廉情况汇报以下：

一、述德情况本人时刻牢记自己是一位我党员的身份，坚持正确的人生观、价值观、世界观和荣辱观，做到“慎独”、“慎微”、“慎初”，自觉遵守社会公德、职业道德、家庭美德，做到品行端正，作风正直，尊老爱幼，家庭和睦，老实取信。同时严于律己，当好榜样，建立单位风清气正的工作氛围。

1、忠于中国特点社会主义事业，拥戴中国我党领导;时刻忠于国家利益，维护党和政府形象和权威;遵守国家宪法，模范遵遵法律法规。

2、模范遵守社会公德、家庭美德，老实取信。酷爱本职工作，身体力行，坚持以人为本、服务民生，为增进科学发展和社会和谐作出积极的努力。

3、具有勇于担当的责任意识;具有实现“在全市率先建成小康社会”目标的责任感和使命感;刻苦研究业务知识、工作精益求精的敬业精神。

4、坚持为政以廉、出于公心、公道正直的原则，用自己的一言一行，为身旁人和处室全体职员作出榜样。

二、述学情况一直以来，本人牢固建立活到老学到老学习理念，坚持向书本学，向实践学，向有经验的老同道学、向四周学。

1、天天坚持看书、读报阅读新闻，了解国家大政方针，及时把握并理解消化。

2、充分利用网络学习平台，认真学习专业知识、财经法律法规、和个人修养等各类学习课件。通过学习，进一步解放了思想，明确了工作思路，开阔了视野，丰富了知识，进步了驾驭工作的能力。

3、建立学习周制度，每周五下午定期和中心全体职员一起学习《会计法》、《审计法》和财经法律法规等专业知识，不断进步自己的业务能力，将自己变成财务和审计的专家内行，业务指导的能手。

三、述职情况(一)加强预算执行管理，规范财务收支行为今年以来，本人严格依照市财政局核定的部分年度预算指标，从严从紧控制支出，并定期对各单位、部分的预算执行情况进行统计分析，下发通报;同时为进一步加强财务管理，规范财务收支行为，强化财务扎口管理，六月份，把局属九家行业协会财务也纳进局财务中心进行同一管理，所有支出须经财务管理中心审核后方可列支 避免了支出随便性。

(二)强化制度建设，建立健全财务制度管理为进一步加强财务管理，规范支出行为，进步资金使用效力，根据相关财经法律、法规和财务规章制度，结合我局工作实际，本人相继牵头起草制定了《xx市建设局财务管理(暂行)办法》、《xx市住建局招标文件和重要合同监督管理制度》和《关于对固定资产等实行集中同一采购管理的》的通知。《通知》就财务集中核算、预算管理、进账核对、民主理财、报账程序、经费支出、合同和招标文件审批流程、合同签订、招标文件发布和固定资产分散采购管理等方面均作出了明确规定。做到以制度管人、管事，以制度增进管理。本人牵头组织对固定资产分散采购实行集中采购以来，已组织集中采购五批，为局机关和局属企事业等我勤俭资金5.945万元(各单位申报价格总额59.685万元，实际采购价格总额53.74万元)，降落比例为9.96%(三)加强审计监督，发挥财务监督作用为进一步加强对局属企事业单位财务收支的监督管理，推动我局内部审计工作不断深化，今年4月和9-11月，由本人牵头，分别组织对局属各行业协会20xx-20xx年度财务收支和绩效管理和各企事业单位20xx年度的财务收支情况进行了审计，通过审计，找出工作中存在题目，进一步规范了财务收支行为，增进各局属行业协会和企事业单位精益求精工作，更好的履行职责。今年以来，本人不断创新内审工作模式，首次对被审计单位实行投递审计新模式，并首次把被审计单位绩效管理也纳进到审计的范围，获得了明显成效。

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

2.负责集群容量规划、扩容及性能优化;

3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

4.设计实现大规模分布式集群的运维、监控和管理平台;

5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

7.参与例如服务器维护、项目维护、监控维护等常见运维事务

职责：

1、负责大数据基础平台的整体规划和架构设计，参与需求分析、技术决策以及详细设计;

2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组，解决系统中的关键问题和技术难题;

3、把握基础业务复杂系统的设计，确保系统的架构质量，编写核心部分代码;

4、持续挑战新的技术方向，攻克大数据量，高并发，稳定性等各种技术难点。

任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上hadoop的应用开发经验，5年以上数据仓库开发实践经验，至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

3、良好的编程开发能力，精通PHP及其他开发语言;

4、熟悉mysql等数据库经验，具备优秀的SQL编写、调优能力;

5、熟练掌握Linux常规命令与工具，精通shell, perl, python等脚本语言至少一种;

6、软件基础理论知识扎实，具有良好的数据结构、算法功底;

7、对新技术敏感，学习能力强，乐于接受挑战，具有良好的团队合作精神;