家务劳动数据【汇总20篇】

国家基础地理信息数据使用许可协议（乙类）

本使用许可协议赋予使用方仅享有本协议所明确规定的国家基础地理信息数据的使用权。提供方保证，提供方是国家基础地理信息数据的法定授权提供者，并被授权具体行使国家基础地理信息数据的版权及相关权利。本许可协议为不可转让和非独占的。本许可协议由许可协议文本和附表组成。

1.使用方必须遵守以下规定：

（1）使用方仅限于在本单位（本单位以使用方构成独立法人资格的组织为限）的范围内使用国家基础地理信息数据，不得扩展到所属系统和上级、下级或者同级其他单位。但获得特别许可的除外。

（2）使用方必须在使用国家基础地理信息数据所形成的成果的显著位置注明国家基础地 理信息数据版权所有者（所有者名称见附表）。

（3）使用方对被许可使用的国家基础地理信息数据不拥有复制、传播、出版、翻译成外国语言等的权利，不得向第三方提供原始国家基础地理信息数据。未经提供方允许不得将基于国家基础地理信息数据开发和生产的成果向第三方提供，但向中央国家机关、省级政府等部门提供用于宏观决策和社会公益事业的除外。国家基础地理信息数据的任何格式或者任何复制品视同原始数据。使用方可根据需要对数据内容进行必要的修改和对数据格式进行转换，但未经许可，不得将修改、转换后的数据对外发布和提供，并应将修改、转换的情况及修改、转换的内容向提供单位备案。使用方不得将原始国家基础地理信息数据或者其衍生成果在计算机互联网上登载。

（4）使用方主体资格发生变化时，应向提供方重新提出使用申请，并需重新签订使用许可协议。

2.使用方必须根据国家基础地理信息数据的密级按国家有关保密法律法规的要求，采取有效的保密措施，严防泄密。

3.违约条款：

（1）使用方在使用国家基础地理信息数据过程中违反国家法律法规或者国家基础地理信息数据主管部门的规定，其使用权即无条件终止。

（2）使用方违反本协议的任何约定，提供方有权收回其所提供的国家基础地理信息数据及相关资料，使用方不能保留国家基础地理信息数据的任何拷贝或者使用基于该国家基础地 理信息数据开发的任何成果，并须赔偿因违约侵权给提供方造成的一切经济损失。

4.提供方所提供的国家基础地理信息数据及许可的用途等见附表。提供方在向使用方提供国家基础地理信息数据时，同时提供国家基础地理信息数据的相应数据说明和使用说明。

提供方不承诺对所提供的国家基础地理信息数据中可能存在的与现势的某种不一致或者缺陷进行修改。提供方不因该数据本身的瑕疵而对使用方所造成的任何后果承担任何责任。

提供方不接受任何条件的退货。使用方自己负责安装与使用。技术培训、技术合作、数据更新须与提供方另行签订协议。

5.本协议一式四份，具有同等效力，双方各持二份。

6.本协议未尽事宜，双方将协商解决。

提供方（盖章）：_________ 使用方（盖章）：_________

代表（签字）：_________ 代表（签字）：_________

_________年____月____日 _________年____月____日

签订地点：_________ 签订地点：_________

附件

使用许可协议编号：_________

┌───┬──────────────────────────────┐

│提供方│ │

├───┼──────────────────────────────┤

│使用方│ │

├───┴──────────────────────────────┤

│ 许可使用的 信息数据 │

├────┬──┬─────────────────────┬────┤

│数据名称│密级│ 地理范围 │数据格式│

├────┼──┼─────────────────────┼────┤

│ │ │ │ │

├────┼──┴────────────────┬────┼────┤

│数据内容│ │版权所有│ │

├────┼───────────────────┴────┴────┤

│特别许可│ │

├────┼─────────────────────────────┤

│数据载体│1.光盘：2.4mm磁带；3.8mm磁带；4.其他 │

├────┼─────────────────────────────┤

│ │1.非企业单位用于教学、科研并在单位内部使用。 │

│ │2.非企业单位为规划管理等目的对 信息数据进行开发并在 │

│许可的使│该单位内部使用。 │

│用用途 │3.非企业单位使用 信息数据形成成果并向中央国家机关、 │

│ │省级政府部门提供用于宏观决策和社会公益事业。 │

│ │4.个人自用。 │

│ │5.适用乙类许可协议的其他用途。 │

├────┴─────────────────────────────┤

│ 其 他 事 项 │

├───────┬─────────────┬──┬─────────┤

│提交数据的时间│ 年 月 日 │地点│ │

├───┬───┴─────────────┴──┼──┬──────┤

│工本费│ 1.介质费 2.人工费 3.其他 │金额│ │

├───┴────┬─────┬─────┬───┴──┴──────┤

│部分数据成本费 │ │应付款总计│ │

├────────┼─────┴───┬─┴───┬─────────┤

│使用方付款方式 │ │ 付款时间 │ │

├───┬────┴─────────┴─────┴─────────┤

│ │ │

│ 备注 │ │

│ │ │

└───┴──────────────────────────────┘

1.本表为乙类使用许可协议的组成部分。

2.如无特别许可情况请在特别许可栏中填无。

3.本表中数据载体、许可使用的用途及工本费栏请在选项上画√，选项中没有明确的请在其他项上填写清楚。

今年以来，我校加大信息化基础建设，严格落实信息系统安全及保护，从源头做起，不断提升了信息基础安全理念，强化信息技术安全管理和保障，加强对包括设备安全，数据安全，信息安全等信息化建设保障，以信息化促进学院业务管理的精简化和标准化。

一、 信息等级化分类，安全分类化保护。

我校网络管理信息化管理现状，自网络信息中心(以下简称中心)成立时起，我中心制订了宿舍网络使用条款服务器托管等安全条款，此八年以来，保障了广大师生网络使用及业务系统安全，未因网络出现重大安全问题，未有因业务系统托管而出现硬件无法修复、数据被盗等基础保障。

本年工作进度报告，

1、服务系统保护、上学期我中心开始了安全等级建设，确立了服务系统安全分等级保护目标，重要信息重点保护，次要信息次级保护原则，针对原来一个系统多个应用的服务进行了应用分离，减少一个服务出题问题，多个业务受影响等问题，今年购买了存储服务器和服务器防火墙两个重要基础安全设备，针对我校业务系统保障，对学校官网、精品资源共享课网、一卡通等数据备份。使用了硬件防火墙对公开业务数据安全保护，现已对官网、青果系统、数字化校园系统进行IPS保护、WEB应用防护，其它系统进行安全审计防范等安全设施。

2、基础网络保障、今年我中心更换包括核心DCRS7608在内多个老旧网络设备，针对日益流行WIFI设备进行规范管，对宿舍网络WIFI共享禁用，对办公网络WIFI使用教育，谨慎使用开外式网络，减少基础网络隐患。

二、 20xx年信息安全工作安排及问题整改

1. 规范流程操作，加强网络信息化教育。我中心要求系统使用部

门或使用人员都应该了解信息安全形势，所管理系统的安全等级，遵守谁管理谁负责的原则，掌握操作技能，努力提高系统信息保障能力，对官网、青果系统、财务系统、图书馆管理系统、一卡通数据系统等业务所属部门要求分配专员管理，提高业务系统信息安全习惯。

2. 办公无线网络使用规范,无线网络私建加重，基本每办公室都有

职员安装了无线设备，甚至出现了办公室多个职员安装WIFI。需加强网络使用条件规范，区域多个WIFI接入，乱接入等问题整改，对办公室已有无线设备收编，禁止使用360，猎豹，共享精灵等无线热点、软件共享方式。

3. 老旧设备更新换代，部分网络设备、服务器设备使用已长达八

年之久，部分重要服务器还是原来老式台式机，今年已搬迁了心理系统，电子政务系统至新服务器，还有财务系统，图书管理系统还在老旧服务，难以保障稳定运行。

20xx年是我校信息安全投入历来最大一年，加强业务系统、基础设备安全及保障、20xx的到来，我中心将加大对网络信息安全管理和安全措施、安全技术力度，保证学院信息安全切实可行。

2016年数据分析员个人总结范文

工作总结范文

一、日常工作

在xx年上半年，从总体来讲，日常的数据采集依然占据了很大的比重。在数据录入方面，我依然严格要求自己，在保证速度的同时做到准确录入。在上半年，我参与了第一季度数据报告以及5月份月报的撰写，虽然是常规数据报告，我依然不敢松懈，尽力做到一遍通过，不犯低级错误。

另外，在日常工作之余，也向周*学习了专刊考核方面的工作。考核工作对我来说并不陌生，因为以前曾经也接触过，考核规则简化之后，上手更加容易。主要是做到耐心细致就不会出错。

那么，本年度除日常工作外，应中心领导要求，每日由广告部渠道组提供当日未到达名单，由李*和我轮流在系统中查询最后一次投放本报的时间。广告部渠道组提供名单并不细致，加大了查询工作的难度，希望日后通过有效的交流和沟通，双方可以达成统一，提高工作效率。

二、调研项目

人才招聘行业调研报告：年初，在报社领导的指示下，我和祁*共同完成了人才招聘行业的专项调研报告。本次报告通过对全国人才招聘行业的仔细研究，包括全国媒体人才招聘广告投放情况与沈阳地区媒体投放对比分析，沈阳地区自身招聘行业的特点以及报纸、网络、人才市场等多个方面的深入分析，在金融危机的影响下，对xx年招聘行业情况做出了有预见性的预测，并验证了领导的想法。通过撰写此次报告，使我的思路更加开阔，学到了很多东西，也掌握了一些撰写专项分析报告的技巧，对我日后撰写某个行业的专项报告有一定的帮助。在这里感谢主任对我和祁*的信任和指导。

电器调研项目：4月份，在领导的指示下，我们与电器一起合作了一次关于家电行业的调研活动。本次调研方式为街头拦访。关于问卷，个人认为，由于街头拦访形式比较特殊，被访者是在行走过程中，问卷题目应该尽量短小简单。本次问卷题目一共26道题目，包括单选、多选以及复合题目，a4纸打印需要三张。在访问过程中，感觉有些繁琐冗长。被访者大多觉得题目较多，一张问卷访问下来，大约需要10分钟的时间。就日后的调研来看，个人认为，街头拦访问卷一般题目在10-20个问题，a4纸打印2张，访问时间控制在5-8分钟左右为宜。过长会导致被访者的厌烦情绪，在问卷的最后容易随便糊弄了事，影响调研的准确性。虽然调研中有这样和那样的困难，但经过全体项目人员的努力，本次调研项目执行到位，保质保量的完成了任务，达到预期要求。

版面监测调研：4月份，与**市场研究公司合作开展了“xx年第一期版面监测调研项目”。针对项目执行过程中的各个环节严格把关，务求使版面调研数据的真实准确。并在6月初召开了报告讲解会。本次报告在原有基础上增加了定性研究与版面的直观对比，对各部们领导解读报告起到一定的作用。

客户满意度调研：6月末，在集团要求下，和祁*一起完成了《xx年上半年客户满意度调研报告》，为经营工作考核提供了一定的数据依据。

发行调研：在xx年初，发行调研已经全部由市场部独立进行，每月进行一周。虽然人员有限，但市场部人员尽出，保证了发行调研的按期进行。就发行调研本身来说，个人认为，由于选择摊点过少，每期报告不免单调重复，在xx年下半年应当改进调研方式，不再单纯进行要报销报的数量，要在原有基础上有计划的进行较为深入的调研。这样可以使得发行调研更加具有指导意义。

三、活动配合与外出培训

在上半年，市场部配合房产专刊部进行了“购房消费卷”活动，在活动结束之后，为领导撰写了《春暖花开购房消费卷报告》，报告以漫画等幽默的方式展示了华商晨报“购房消费卷活动”，并对其他媒体在房产行业方面的政策以及地产商投放广告心态进行了分析，得到了领导的认可。

另外，在5月末，在中心领导的指示下，深入研究了**活动，在查阅了大量资料，并在部门主任的指导下，撰写了活动策划报告。通过此次报告的撰写，让我自己所从事的工作的认识更加深刻，了解到自己的工作思路要依据数据而不局限于数据。作为市场部的一员，我要更加鞭策自己，拓展自己的思路与眼界，放眼市场放眼全局。

在5月，我有幸赴北京参加了 “市场研究基础知识培训”。本次培训主要是数据基础分析与处理，在介绍了我们日常工作常用软件execl的同时，讲解了专业的数据统计软件spss的基础操作。这次学习机会对我来说相当珍贵，而这次培训也对我日后的工作有了很大的帮助，希望在接下来慧聪所举办的一系列培训中依然可以去学习参加，提高自己的分析水平，业务能力。

四、展望

从事数据工作已经是第四个年头了，各类调研项目也开展了很多，如何在数据分析与调查研究中更加深造自己，将是我xx年下半年的工作重点。

我想，下半年的工作中，除了进行各种调研项目意外，也要在撰写各种常规数据报告的同时适当的进行专一行业的深度分析研究。

工作总结范文

上半年来，在公司党委的正确领导下，我中心认真贯彻公司党委工作会议和职工代表大会精神，紧紧围绕总体工作思路，以安全生产为中心，深化思想工作，转变机关作风，加强党建工作，保持行业文明成果，为中心各项工作的顺利开展提供了强有力的思想保证，现将具体情况总结如下：

一、深入开展理论学习，全面提高干部职工队伍素质。

今年，党支部更加注重了干部职工的理论学习，遵照公司的安排，结合我段实际，我们每月印发理论学习安排表，按照计划党员和入党积极分子开展了集中学习和自学。重点学习了省市公司两会主要精神，xx届六中全会精神，社会主义荣辱观论述等内容，要求每个职工认真记录学习笔记，做到了学习人员、时间、内容、检查四落实。

为做好职工的思想政治工作，班子成员及机关管理人员经常深入生产一线，了解职工思想状况，及时理顺职工情绪，对职工中出现的突出矛盾，及时召开思想政治研讨会议分析解决。我们及时召开老职工座谈会，给他们送去组织温暖，确保了队伍的稳定。同时，筹集资金，改善职工食堂环境和服务，及时慰问困难、患病职工;组织职工外出参观学习，改善职工福利。为职工办实事，办好事，体现人性化管理。

为了营造良好的生产氛围和舆论声势，我们结合“优质服务年”的开展，实现了班组科室的微机化管理，配备了专职计算机网络管理和维护人员，提供了便利的上网条件，方便了信息快速、及时的传递。二是将新闻宣传、政研论文任务分解到部门(站班)、个人，并由工会主席主抓宣传工作。三是通过提高新闻稿件奖励标准，激发了职工的写作热情。截止7月30日，我中心职工在各类报刊和网站发表新闻稿件40余篇。营造了开拓进取、昂扬向上的舆论氛围，极大地提升了企业形象。

二。落实精细化管理年活动，狠抓领导干部作风建设

为贯彻落实精细化管理年活动，改进领导干部作风，切实提高管理水平，我们组织讨论学习充分认识到实施精细化管理的必要性、重要性。由粗放型经营向精细化管理转变。牢固树立向管理要效益的观念，严格控制成本和费用，提高资源利用率。我们对于各项流程和服务细节进行了规范化，制定完善了一系列制度，特别是在安全生产上狠抓现场稽查和操作规程。在服务上，我们实现了产业专业化，做到又红又专，狠抓亮灯率和小街巷路灯建设，积极为群众服务。我们还结合今年质量管理体系贯标工作，实现数据化管理和信息化管理。

为切实提高管理水平，加强作风建设我们一是开展了以“增强服务意识，提高工作效率，维护工作大局，规范管理行为，严格工作纪律”为主要内容的机关整顿作风活动，切实解决了机关在作风方面存在的突出问题，营造了干事业、谋发展、思进取、争一流的良好氛围，有力地推动了各项工作的顺利开展。二是加大了考核工作力度，提高了干部职工的工作责任心。三是加强班组公司管理，完善工作日志和资料台帐，增加透明度。四是进一步规范了物资采购和财务报销制度。五是规定中心班子成员与班组日常工作挂钩，做到领导下班组，党员责任到班组，明确分工，并深入到基层一线。规定中心领导每月不少于三次跟班作业，重要施工必须领导参加，班组各类安全学习，责任领导每月必须参加，听取职工对领导作风建设的意见。以及政治学习，安全生产，优质服务，各项制度制定等方面的意见和建议。对于好的合理化建议，及时采纳和跟进，切实把党员干部作风建设落到实处，促进单位整体工作的协调发展。

三、全面落实党员教育，积极推进党建工作。

(一)为提高党员素质，加强理想信念教育，按照公司党委统一安排，我中心党支部高度重视，进行了认真研究，周密部署，在全中心范围内认真开展了学习党章及社会主义荣辱观教育活动。学习中央历届领导人关于干部作风建设的重要讲话，和胡总书记在中纪委七次全会上的报告。支部把学习贯彻党章及社会主义荣辱观教育活动纳入党支部今年的一项重要学习内容，传达中央和省、市委及公司党委关于学习党章的要求，阐明讲解了学习党章的重大意义及社会主义荣辱观方面的重要论述。在整个学习过程中，除全体党员参加外，还组织入党积极分子参加学习。在整个活动中，广大党员不仅能做到自己积极发挥先锋模范作用，而且带动了身边的职工群众。同时，班子成员切实做到了带头勤奋工作，带头安心本职，带头抓好学习，带头改进作风。

(二)为了使新班子建成一个高效、团结的班子，我们重点抓了四个方面工作：一抓教育，解决端正了班子成员思想认识，振作精神状态问题;二抓实事，增强了工作的责任感和敬业精神;三抓领导，使作风建设有了明显成效;四抓落实，强调了政令畅通，雷厉风行。四是及时召开了民主生活会，党员干部畅所欲言，开展批评和自我批评。

(三)我们结合学习党章和社会主义荣辱观教育活动，引导班子成员树立正确的政绩观、人生观、世界观和价值观，并认真执行上级的决议决定，贯彻民主集中制，重大问题都能做到广泛征求意见，并采取公示、情况通报会等形式沟通，使新班子成员能主动沟通，交换意见，统一思想，团结协作，形成了一个团结向上的领导集体。

(四)结合学党章和社会主义荣辱观教育活动以及领导干部作风年建设活动，为加强学习效果，我们购买了红军革命战斗历史和革命领袖传记图书发送到党员干部手中，加强他们的革命传统教育。我们还采取走出去请进来的方式，今年邀请了市委党校专家为全体职工上形势教育课，组织党员和入党积极分子到接受爱国主义和传统教育，起到了良好效果。

四、努力保持文明创建成果。

为了巩固已有的创建成果，我们也做了大量细致的工作：一是针对今年生产任务较往年轻的实际，把加强干部职工的学习做为主要的突破口，逢会必强调学习的重要性，通过讲形势，讲发展，充分激发了职工们的学习热情。二是在巩固去年文明建设成果的基础上，加强办公基地建设和办公环境改造工作，并从细节方面着手，抓站班卫生、文化氛围、饭菜质量等，使职工工作生活环境更加温馨、和谐。三是开展丰富多彩、有创新性的文化活动，激发了职工的工作热情。

五、充分发挥工青妇作用，各项工作协调发展。

中心工会围绕全段重点工作，通过召开职代会、完善厂务公开，加强了民主管理，增强了职工参政议政意识，我们召开了职工大会，在“爱心帮困基金”捐款活动中，职工全部参加，共计筹集“爱心基金”600元。为春节困难职工，抗洪救灾捐款7000余元。并利用“三八”、“五一”、“五四”等节日，组织开展了拔河，卡拉ok，篮球，羽毛球比赛。鼓励职工开展文学创作和积极开展新闻通讯写作，挂牌成立了鄂州供电公司职工摄影和羽毛球协会，女工委在“三八”妇女节前，对全体女职工进行了身体检查。

通过半年来的努力工作，我们虽然取得了一定的成绩，但与党委的要求相比还有一定的差距。但我们坚信，有公司党委的关心支持，有班子成员的共同努力，有全体职工的辛勤工作，我们将继续做好本职工作，努力使各项工作迈上一个新台阶。

职责：

1.负责项目系统部署实施的过程执行;

2.负责日常系统维护、产品上线实施和故障处理;

3.负责收集系统维护过程中的系统缺陷和软件缺陷，提出合理化改进建议和意见;

4.为目标客户提供系统技术培训和技术支持，完善系统维护知识库建设。

任职要求：

1.具备专科及以上学历，计算机、软件等相关专业毕业，5年以上相关工作经验;

2.具备千万级用户量/设备的大型互联网/物联网系统建设运维经验及项目管理经验，熟悉互联网/物联网系统主流架构;

3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中间件及Docker等容器技术;

4.熟悉windows server、Linux等主流操作系统的使用;

5.掌握Postgresql(主要)、Oracle、Mysql等主流数据库的使用，包括存储过程开发，能编写高效SQL。

6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等监控工具使用及Python脚本优化;

7.掌握SVN/Git/Puppet/jenkins等自动化运维工具，具备应用服务安装配置、管理维护、故障分析和系统性能分析优化经验。

过去的一年在领导和同事们的悉心关怀和指导下，通过自身的不懈努力，在工作上取得了一定的成果，但也存在了诸多不足，现将过去一年的工作情况总结如下：

一、公司领导高度重视，统计工作逐步完善。

近年来，公司领导高度重视统计工作，在统计体制改革、人员力量配备、经费保障等方面采取了很多措施，增加了统计工作人员，健全完善了统计工作体系，进一步夯实了统计基础建设，确保统计数据源头工作质量。

二、扎实做好统计基层基础工作。

近年来，围绕“人员专职化、台账规范化、管理制度化、调查法制化、手段现代化、经费有保障”的“五化一有”目标，进一步完善统计工作制度，夯实基层基础工作。统计工作部门具备独立的办公场所，同时配备了微机、打印机、办公桌椅等，确保统计工作的顺利进行。建立统计工作管理制度和统计人员管理制度，包括综合统计管理制度；建立原始记录和统计台帐、统计报表管理制度；建立数据管理制度和数据质量检查、控制制度；建立统计资料归档及保密制度；建立企业各级专兼职统计、记录人员的岗位责任制等。

三、按时完成统计工作，为公司领导经营决策提供准确依据。

我们严格执行国家统计报表制度，认真做好各项年定报的贯彻落实。统计人员认真学习《统计法》和统计报表有关规章制度，虚心向统计局有关领导学者学习，主动采用科学的统计方法，系统地调查研究，对待每一个统计数字和统计调查分析，都一丝不苟，严肃认真，确保统计数据的质量，及时收集、掌握重要经济指标，通过静态和动态、纵向和横向的比较分析，充分了解公司的经济运行态势，提高统计分析水平，从而为促进公司经营管理目标的实现和公司领导经营决策、促进经济发展提供科学依据。

四、统计法制建设不断完善，数据质量不断提高。

统计数据质量是统计工作的核心所在。我们坚持实事求是，弘扬求真务实精神，努力提高基层数据质量。规范基础工作，确保源头数出有据。统计报表有关数据直接从企业原始记录、统计台账、会计报表取得的，报表数据和有关记录项目保持一致；统计报表有关数据以企业原始记录、统计台账、会计报表相关数据加工后取得的，以企业原始记录、统计台账、会计报表为依据。

五、建立规范的统计台账，保证源头统计数据质量。

建立规范的、统一的、可核查的统计台账，是统计基础建设的一项重要内容，是保证统计源头数据质量的一个重要抓手。统计台账依据原始记录和相关数据，按照统计指标的含义填写，统计报表的数据来源于统计台账，和统计台账保持一致。统计台账分门别类地进行登记、整理，年终汇总表册存档。

六、严格统计资料管理工作，报表档案利用科学化。

我们高度重视档案管理在企业管理中的重大作用，按照统计信息化的要求，运用计算机处理企业统计数据的采集、汇总、分析和上报工作。每年结合企业的现实情况，完善各项档案管理制度，制定档案管理考核规定，坚持从严规范、从细抓起，持续创新档案管理模式，提高档案综合服务水平。在档案基础管理方面，坚持多管齐下，狠抓档案的归档率、完整率、准确率，加大考核力度，以经济的手段，保证报表资料的真实完整。在档案资料的接收、借阅复制工作中，严格遵守档案的保密制度、交接制度和借阅利用制度，认真做好收存、借阅登记。同时，充分发挥档案信息服务作用，为公司提供可供查阅参考的资料，使档案工作由收集保管向开发利用转变。

七、加强统计知识学习，全面提升人员素质。

一是加强学习培训，提升综合能力。二是增强责任认识，加强作风建设。以热爱本职工作、锐意进取、奋发有为的精神状态和求真务实的工作作风，不断创造新的业绩；严肃工作纪律，恪守职业道德，提高工作效率。三是完善激励机制，强化正确的用人导向。四是加强文化建设，努力营造团结和谐的工作氛围。

职责：

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术，并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

任职资格：

1、本科以上学历(持有学士学位)(985，211优先)，计算机相关专业，五年工作经验;

2、二年以上数据挖掘项目经验，完整参与过数据挖掘大数据平台的架构开发过程，具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验，熟练掌握Hive/SQL，Python，熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

4、了解传统的BI/DW 理论，能结合传统BI实践设计大数据平台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理，具备应用场景经验，如用户画像、商品关联度分析、舆情分析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度，擅于利用数据发现问题及解决问题;

职责：

1、负责线下业务数据的统计、管理及数据录入整理;

2、负责根据统计数据核对员工上报的单据数据;

3、对各项数据指标统计、归纳，进行具体分析，对异常情况进行处理;

4、对数据库实时更新，保障其完整性、准确性、时效性;

5、协助各部门开展其他相关工作。

任职要求：

1、大专及以上学历，有相关经验优先;

2、熟悉办公软件操作，熟练word、excel函数等;

3、具有数据敏感度，严谨细心的工作态度，有耐心、有毅力，踏实稳定。

1、负责学生及其家长的咨询、接待工作，帮助学员做出合理课程规划;

2、制订教学计划、编制课程表、学籍管理、考勤、家长反馈、教学制度;

3、负责教师的日课程安排和通知;

4、负责课前不同形式的上课提醒、现场设备的调试配备，课后各种信息分类归档、制作表格等;

5、对学生进行日常管理，及时了解、跟踪学生的学习情况、心理状况，能发现、整理问题并提出解决方案;

6、收集整理学生或家长反馈的信息，以提升对学员的服务水平;

职责：

1.负责数据库的日常维护,保障系统的健康稳定运行;

2.负责数据库的高可用性部署、系统安装、配置管理以及性能调优;

3.对数据库运行状况进行监控，及时对故障进行处理，并分析故障原因，记录解决文档;

4.研究数据库架构、分布式存储和开展数据库优化等技术，提高系统的稳定性和健壮性;

5.配合系统开发团队提供DBA服务;

6.日常数据备份、数据ETL抽取。

任职资格：

1.全日制大学本科以上学历，计算机及相关专业毕业;

2.4年以上数据库经验，精通数据库管理与优化，熟悉分库分表原理：

3.精通MySQL、mongodb等数据库的运行机制和体系结构，有良好的数据库故障分析和解决能力;

4.具备大规模数据库服务器运维和管理经验;

5.熟悉Linux操作系统，熟悉Shell、Python等脚本语言;

6.熟悉Linux环境下java技术栈搭建，能熟练安装配置jdk,tomcat,redis，svn等常见软件，此条为加分项;

7.熟悉kettle数据抽取工具;

8.具备数据仓库规划和建设经验者优先。

思唐镇农村统计调查工作在镇政府的领导下，在上级业务部门的指导下，高举邓小平理论的伟大旗帜，坚持以“三个代表”重要思想为指导，坚持解放思想，开拓创新，扎实工作，农村统计调查工作较为圆满完成了上级组织交给的任务。根据思统字(2019)5号文件《县统计局关于开展农村统计调查数据质量检查工作的通知》精神，结合本镇实际，现将本镇农村统计调查数据质量检查工作自查情况报告如下：

一、统一思想，提高认识。统计是党和国家实行科学决策和进行现代化管理的一项重要基础工作，没有正确的统计，就会影响党和国家决策的科学性、正确性。因此，镇政府对农村统计调查自查工作高度重视，成立了以党政办主任为组长，镇统计人员为成员的自查工作小组，认真领会上级自查工作精神，再次学习《统计法》和《省统计管理条例》，统一了思想，提高了认识，明确了统计调查自查工作的重要性。

二、数据的来源。1、充分依靠广大村(社区)干部开展统计调查。农产量抽样调查、畜牧抽样调查、农业年报、私人建房调查、固定资产投资调查、100万元以下工业调查、农业普查、人口普查、经济普查等统计调查工作绝大部分是充分发挥广大村(社区)干部的主观能动性，依靠他们完成基础统计调查工作。2、镇直有关部门上报各种报表及表册。如派出所提供的人口年报，畜牧站上报的畜牧生产季报表、年报表，农业服务中心上报的农村经济收入和农民负担调查表，乡企站上报的乡企年报等。3、镇统计人员到有关单位搜集相关的统计基础材料。统计人员到镇直管财政所、畜牧站、农业服务中心等单位搜集劳动情况及年报材料，到镇营业所、信用社、工商所、镇医院等垂管单位搜集相关统计材料，到县有关单位如县移动公司、县电信局、县短途客运公司等单位搜集相关统计材料。4、统计人员亲自到有关单位开展统计调查：如2019年的镇第五次体育普查、镇第一次经济普查等。

三、数据质量分析。1、农作物产量：2019年农作物种植面积38800亩，其中粮食作物种植面积28710亩，产量7743吨。2019年农作物种植面积40600亩，其中粮食作物种植面积33615亩，产量8043吨。2019年农作物种植面积38330亩，其中粮食作物种植面积30225亩，产量8120吨。2019年农作物种植面积39091亩，其中粮食作物种植面积31255亩，产量8523吨。从统计数据可以看出农作物历年种植面积基本保持平衡，但农作物产量在逐年增长。主要原因是加大了农作物品种改良，提高了科技含量，增加了对农业的投入。2、畜牧业情况：2019年牲畜出栏52500头、只，肉产量2290吨。2019年牲畜出栏62700头、只，肉产量2320吨。2019年牲畜出栏69500头、只，肉产量2377吨。2019年牲畜出栏80600头、只，肉产量2429吨，从统计数据可以看出，本镇畜牧业出栏数量、肉产量都在逐年上升。其主要原因是镇党委、政府高度重视畜牧支柱产业，加大对畜牧业品种改良，努力引进良种，增加对畜牧业的投入，实行了一系列优惠政策。3、固定资产投资：2019年502万元，2019年522万元，2019年876万元，2019年1154万元。从统计数据可以看出，本镇固定资产投资增幅较快。主要原因是上级出台了一系列扶持农业的政策，镇里抓住国家对中西部开发的历史机遇，积极招商引资。4、劳动情况。2019年职工168人，工资支出119万元。2019年职工176人，工资支出138万元。2019年职工173人，工资支出140万元。2019年职工178人，工资支出175万元。从统计数据上可以看出，职工增加较少，但工资支出却在上升，主要原因是上级相对提高职工工资待遇。5、其它历年统计数据调查基本趋于合理。综合历年统计数据分析，本镇人均粮食250-300公斤，人均肉产量80-85公斤，人均纯收入900-1100元，固定资产、职工工资等呈上升趋势，可以说绝大部分统计调查数据比较符合实际。也有统计调查数据有一定出入的情况：1996年镇第一次农业普查、2019年镇第五次人口普查、2019年镇第一次经济普查，主要原因是统计调查面大，调查工作复杂、数据难于掌握。

四、基础工作。1、加强学习，努力提高统计人员的理论水平及业务素质。统计人员能坚持学习邓小平理论、“三个代表”重要思想。能坚持认真学习《统计法》及工作中的有关法律法规，按时按规定参加统计工作会议，有关统计培训，统计执法考试，提高了自身素质，适应了工作需要。2、对统计工作有计划、有安排、有落实。根据上级业务部门的安排，镇党政办及时拟定了年工作计划，向分管领导汇报，每年召开统计工作会议，认真传达上级统计工作会议精神，再一次学习《统计法》，对统计工作进行安排部署，保证了统计工作顺利开展。3、坚持实事求是、严格统计执法，认真做好统计调查工作，按时按规定上报各种报表及表册，较好地完成了统计工作任务。(1)统计机构健全、制度完善。镇直各单位、各村都明确了统计员，制定了较为完善的统计制度，保证统计工作有人负责，有人管理。(2)认真做好统计调查，坚持没有统计调查就没有统计发言权，统计工作从不闭门造车，镇直各单位、村(街)统计人员利用经常去开展其它工作的机会，对辖区统计情况进行资料搜集，做到平时抓与专门抓相结合，镇统计人员每年都要抽出一部分时间，深入有关单位进行统计调查，搜集统计资料，利用赶场天在办公室咨询赶集的广大村(街)干部、群众了解辖区工农业生产，群众生产、生活等各方面情况，进一步核实统计数据，保证统计数据的真实性、可靠性。严格统计执法，按时按规定上报各种报表及表册。4、认真搞好档案管理。将历年普遍统计资料装订成册，将重要统计资料整理归档。由于基础工作做得扎实，统计数据来源可靠，广大统计人员加强学习，责任心强，业务素质较好。因此，本镇历年农村统计工作没有发生虚报、瞒报、伪造、篡改统计资料的违法行为。

五、存在的不足。1、对统计人员培训较少。对镇直有关单位统计人员培训较少，尤其是对村(社区)统计人员业务知识培训较少，村(社区)统计人员业务素质较差，不能适应统计工作的需要。2、镇统计人员对统计调查工作督促较少。由于镇统计人员是兼职，对村(社区)统计人员开展的统计调查督促较少，致使一部分村(社区)统计人员责任心不强，一部分统计人员没有到调查点调查，致使调查有部分失实的情况。

六、下一步工作的打算。1、加强学习，努力提高统计人员的业务水平。镇统计人员要加强政治理论及业务知识的学习，要认真学习党的路线、方针和政策，学习与统计有关的法律、法规，按规定参加上级业务部门举行的会议、培训、执法考试，努力提高统计人员的业务知识水平，不断适应新时期统计工作的需要。2、加强对村(社区)统计人员业务培训，努力提高村(社区)统计人员的业务素质。要搜集准备培训资料，拟定培训计划，每年至少对村(社区)统计人员进行业务培训一次以上，使其统计业务素质有一定的提高。3、建立统计工作奖惩制度。对村(社区)统计人员在统计工作中成绩突出的人员给予一定的奖励，对统计工作不负责的人员给予一定的处罚，进一步增强统计人员的责任心和使命感。4、加强对村(社区)统计调查工作的督查，镇统计人员每年要抽一定的时间到镇属三个以上调查点进行抽查督促，以提高调查数据的真实性。5、规范统计档案管理。认真搜集统计资料予以保存，规范建档。6、热情给领导与有关部门及人员提供统计服务。7、坚决按规定按时上交各种报表及表册。

七、建议。1、建立乡镇专门统计机构，设置专业统计人员1-2名。2、适当提高乡镇统计人员待遇。3、加强乡镇统计人员培训，提高业务水平。

职责：

1. 负责日常网络及各子系统管理维护;

2. 负责设计并部署相关应用平台，并提出平台的实施、运行报告;

3. 负责配合开发搭建测试平台，协助开发设计、推行、实施和持续改进;

4. 负责相关故障、疑难问题排查处理，编制汇总故障、问题，定期提交汇总报告;

5. 负责网络监控和应急反应，以确保网络系统有7*24小时的持续运作能力;

6. 负责日常系统维护及监控，提供IT软硬件方面的服务和支持，保证系统的稳定。

素质要求及任职资格：

1.学历： 专科以上。

2.专业： 计算机相关专业。

3.经验： 一年以上相关工作经历优先。

4.核心能力及业务技术要求：

A.熟悉Unix/linux和Windows系统，有IT系统维护经验; 对操作系统、网络、计算机安全有一定的深刻理解;

B.熟悉主流的交换机、路由器、防火墙等网络设备及其技术应用;

C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

D.熟悉负载均衡技术，lvs+keepalive+Heartbeat等集群技术;

E.精通或掌握SQLServer/Oracle/mysql等大型数据库管理系统(之一)的安装/配置和管理;

F.熟练掌握Linux监控软件，如nagios等，监控系统安全控制及技术防范;

G.具备良好的分析和解决问题的能力，对于攻关疑难问题具有强烈的兴趣;

H.性格开朗外向、善于学习,具备较强的服务意识、沟通协调能力、团队协作能力;

I.良好的文档编写能力，较强的客户服务意识，积极主动，吃苦耐劳, 高度的责任心及应急能力;

5.其它：身体状态良好。

1.负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的稳定可用;

2.负责集群容量规划、扩容及性能优化;

3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

4.设计实现大规模分布式集群的运维、监控和管理平台;

5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

6.深入研究大数据业务相关运维技术，持续优化集群服务架构，探索新的大数据运维技术及发展方向;

7.参与例如服务器维护、项目维护、监控维护等常见运维事务

职责：

1、负责对整体运营数据进行统一管理，建立、优化和完善运营数据指标体系，提供建议和决策支持;

2、根据数据分析结果，撰写周期性及专项分析报告，为管理层决策提供有质量的分析支持;

3、根据业务需求，制作各类常规报表及分析报表，协助运营部门完成日报、周报、月报等各项数据报表工作;

5、对运营数据进行定期更新，监测和追踪运营数据的异常波动，并及时反馈上级;

6、深入理解业务，帮助业务理解、使用数据，参与数据产品或项目开发，构建产品逻辑，探索数据产品化的机会。

任职资格：

1、计算机、数学、统计学相关的专业本科及以上学历，至少3年以上数据分析工作经验，有数据银行、大数据、数据报告平台经验的优先考虑;

2、熟悉PPT、EXCEL等报告工具，能清晰完整的表达策略方法和效果;

3、具备数据敏感性和探知欲、分析、解决问题的能力，能够承受工作中的压力，专注数据的价值发现和变现转化;

2020数据文员年终个人工作总结

20xx数据文员年终个人工作总结篇一

过去的一年在领导和同事们的悉心关怀和指导下，通过自身的不懈努力，在工作上取得了一定的成果，但也存在了诸多不足，现将过去一年的工作情况总结如下：

一、公司领导高度重视，统计工作逐步完善

近年来，公司领导高度重视统计工作，在统计体制改革、人员力量配备、经费保障等方面采取了很多措施，增加了统计工作人员，健全完善了统计工作体系，进一步夯实了统计基础建设，确保统计数据源头工作质量。

二、扎实做好统计基层基础工

近年来，围绕“人员专职化、台账规范化、管理制度化、调查法制化、手段现代化、经费有保障”的“五化一有”目标，进一步完善统计工作制度，夯实基层基础工作。统计工作部门具备独立的办公场所，同时配备了微机、打印机、办公桌椅等，确保统计工作的顺利进行。建立统计工作管理制度和统计人员管理制度，包括综合统计管理制度；建立原始记录和统计台帐、统计报表管理制度；建立数据管理制度和数据质量检查、控制制度；建立统计资料归档及保密制度；建立企业各级专兼职统计、记录人员的岗位责任制等。

三、按时完成统计工作，为公司领导经营决策提供准确依据

我们严格执行国家统计报表制度，认真做好各项年定报的贯彻落实。统计人员认真学习《法》和统计报表有关规章制度，虚心向统计局有关领导学者学习，主动采用科学的统计方法，系统地调查研究，对待每一个统计数字和统计调查分析，都一丝不苟，严肃认真，确保统计数据的质量，及时收集、掌握重要经济指标，通过静态和动态、纵向和横向的比较分析，充分了解公司的经济运行态势，提高统计分析水平，从而为促进公司经营管理目标的实现和公司领导经营决策、促进经济发展提供科学依据。

四、统计法制建设不断完善，数据质量不断提高

统计数据质量是统计工作的核心所在。我们坚持实事求是，弘扬求真务实精神，努力提高基层数据质量。规范基础工作，确保源头数出有据。统计报表有关数据直接从企业原始记录、统计台账、会计报表取得的，报表数据和有关记录项目保持一致；统计报表有关数据以企业原始记录、统计台账、会计报表相关数据加工后取得的，以企业原始记录、统计台账、会计报表为依据。

五、建立规范的数据统计台账，保证源头统计数据质量

建立规范的、统一的、可核查的统计台账，是统计基础建设的一项重要内容，是保证统计源头数据质量的一个重要抓手。统计台账依据原始记录和相关数据，按照统计指标的含义填写，统计报表的数据来源于统计台账，和统计台账保持一致。统计台账分门别类地进行登记、整理，年终汇总表册存档。

六、严格统计资料管理工作，报表档案利用科学化

我们高度重视档案管理在企业管理中的重大作用，按照统计信息化的要求，运用计算机处理企业统计数据的采集、汇总、分析和上报工作。每年结合企业的现实情况，完善各项档案管理制度，制定档案管理考核规定，坚持从严规范、从细抓起，持续创新档案管理模式，提高档案综合服务水平。在档案基础管理方面，坚持多管齐下，狠抓档案的归档率、完整率、准确率，加大考核力度，以经济的手段，保证报表资料的真实完整。在档案资料的接收、借阅复制工作中，严格遵守档案的保密制度、交接制度和借阅利用制度，认真做好收存、借阅登记。同时，充分发挥档案信息服务作用，为公司提供可供查阅参考的资料，使档案工作由收集保管向开发利用转变。

七、加强统计知识学习，全面提升人员素质

一是加强学习培训，提升综合能力。

二是增强责任认识，加强作风建设。以热爱本职工作、锐意进取、奋发有为的精神状态和求真务实的工作作风，不断创造新的业绩；严肃工作纪律，恪守职业道德，提高工作效率。

三是完善激励机制，强化正确的用人导向。

四是加强文化建设，努力营造团结和谐的工作氛围。

20xx数据文员年终个人工作总结篇二

时光荏苒，很快就要过去了，回首过去一年来的数据文员工作，内心不禁感慨万千，在领导和全体同志的关怀、帮助、支持下，紧紧围绕中心工作，充分发挥岗位职能，不断改进工作方法，提高工作效率，以“服从领导、团结同志、认真学习、扎实工作”为准则，始终坚持高标准、严要求，工作上有了进步，总结过去、取长补短、挖掘潜力，为明年的工作做好充分的准备和规划。现将一年工作总结如下：

一、一年来的工作表现

1、仔细认真，提高自身素质

为做好统计工作，我坚持严格要求自己，统计工作地要求就是“仔细认真”，因此，我正确认识自身的工作价值，提高自己的耐心，增强自己的细心，时刻提醒自己，要以高效率，高质量的报表数据上报给各位领导。同时细心学习他人长处，改掉自己不足，并虚心向领导、同事请教，在不断学习和探索中使自己有所提高。

2、严于律已，不断加强作风建设

一年来我对自身严格要求，始终把耐得平淡、舍得付出、默默无闻作为自己的准则，始终把作风建设的重点放在严谨、细致、扎实、求实脚踏实地埋头苦干上。在工作中，以制度、纪律规范自己的一切言行，严格遵守公司各项规章制度，尊重领导，团结同志，谦虚谨慎，主动接受来自各方面的意见，不断改进工作；坚持做到不利于公司形象的事不做，不利于公司形象的话不说，积极维护公司的良好形象。

3、强化文员职能，做好服务工作

对办公室费用方面，继续发扬以必需品为前提，节省处室费用消耗，保证各种办公必需用品齐全，确保领导与同事对办公用品的需求。在这一年里，我积极配合做好后勤工作，与同事心往一处想，劲往一处使，不会计较干得多，干得少，只希望把工作圆满完成。

二、工作中的不足与今后的努力方向

一年来的工作虽然取得了一定的进步，但也存在一些不足，在今后工作中，我一定认真总结经验，克服不足，努力把工作做得更好。

1、仔细认真，克服浮躁心理

面对枯燥的数字统计工作，不怕繁琐，做到谨慎细心，不浮躁，积极适应各种数据变化，在工作中磨练意志，增长才干。

2、发扬孜孜不倦的进取精神

加强学习，勇于实践，博览群书，在向书本学习的同时注意收集各类信息，广泛吸取各种“营养”；同时，讲究学习方法，端正学习态度，提高学习效率，努力培养自己具有扎实的理论功底、辩证的思维方法、正确的思想观点、踏实的工作作风。力求把工作做得更好，树立处室室的良好形象。

3、多从细节考虑，紧跟领导意图，协调好内外部关系，多为领导分忧解难

继续加强对公司各种制度和业务的学习，做到全面深入的了解公司的各种制度和业务。用公司的各项制度作为自己工作的理论依据，结合实际更好的开展统计工作。

总之，一年来，我做了一定的工作，也取得了一些成绩，但距领导和同志们的要求还有不少的差距：主要是对政治理论和文字基础的学习抓得还不够紧，学习的系统性和深度还不够；工作创新意识不强，创造性开展不够。在今后的工作中，我将发扬成绩，克服不足，以对工作、对事业高度负责的态度，脚踏实地，尽职尽责地做好各项工作，不辜负领导和同志们对我的期望。

20xx数据文员年终个人工作总结篇三

一年来，企业数据统计工作在地方领导的关怀下，认真贯彻执行《法》和统计规章制度，经过全体统计工作者的积极努力、辛勤工作，较好地完成了统计工作任务。下面总结下20xx年从事数据文员的工作：

一、一年来度统计工作开展情况

1、逐步建立健企业统计规章制度，加强统计管理工作

为保证《法》及其的贯彻实施，结合我企业实际，有力地促进了统计工作的制度化建设，使企业统计工作基本做到了有法可依、有章可循统计工作者依法统计意识不断增强。企业统计工作逐步向规范化方面发展，基本做到了“专业实施、归口管理”。

2、加强统计基础工作建设，提高统计工作水平

一是不断建立健全企业统计规章制度，规范统计工作程序，严格落实统计人员岗位责任制，保证统计数据的准确性、及时性和全面性。

二是加强统计人员队伍建设，提高统计人员素质。

三是加强基层信息质量考核，统计检查时重点检查基层原始记录、统计基础台帐、统计资料的管理、统计数据是否真实准确，促进了统计资料积累的制度化、规范化和标准化。

3、加强统计执法检查，努力提高统计数据质量

根据统计工作的要求和企业《xx办法》的规定，在全企业范围内开展了统计工作执法大检查。统计部门就统计工作开展与执行情况进行了认真自查，自查率达100%；统计部门对本专业基层统计工作进行抽查，并将检查报告和检查表报企业企管部。通过统计大检查，进一步贯彻了《法》及其，较好地执行了企业的统计工作管理办法，提高了统计人员依法统计的意识，促进了基层统计基础工作的规范化，从源头上保证统计数据的质量，推动了企业统计工作的发展和提高。

二、当前文员工作中存在的问题和不足

在一年来文员工作中，虽然取得了一些成绩，但我们工作中还有很多不尽人意之处，当前搞好统计工作，还存在着以下一些问题和困难：

1、对统计工作的认识不足、重视不够。一些人认为统计工作可有可无，统计数字可以马虎对付。这种思想势必影响统计工作的进一步开展，进而给企业经营生产带来负面影响。

2、统计归口管理职能仍需加强。归口管理的职能虽然在逐步加强，但由于长期以来各专业统计各自上报，缺乏沟通，数出多门，造成同一统计指标出现多个数据的混乱局面。

3、统计执法检查力度有待加强。近一年，企业虽然按统计规章进行了统计执法检查工作，但由于思想上对统计工作的重视不够，统计自查流于形式，走走过场；加之组成检查组需抽调相关部门人员，牵涉面大，致使统计抽查工作不能全面展开，局限在狭小范围，不利于统计工作的正常开展。

三、意见和建议

1、希望企业加强对统计工作方面的业务指导。加强信息交流，取长补短，以推动企业统计工作的全面提高。

2、希望企业通过开办数据统计分析培训班、组织统计工作经验交流会等多种形式培训统计人员，以提高统计人员对统计资料的分析能力，使统计工作更好地为企业生产经营服务。

一、数据量过大，数据中什么情况都可能存在。

如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

二、软硬件要求高，系统资源占用率高。

对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

三、要求很高的处理方法和技巧。

这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

下面我们来详细介绍一下处理海量数据的经验和技巧：

一、选用优秀的数据库工具

现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQLServer20xx性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQLServer20xx需要花费6小时，而使用SQLServer20xx则只需要花费3小时。

二、编写优良的程序代码

处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。

三、对海量数据进行分区操作

对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQLServer的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。

四、建立广泛的索引

对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。

五、建立缓存机制

当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。

六、加大虚拟内存

如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理，内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为4096*6+1024=25600M，解决了数据处理中的内存不足问题。

七、分批处理

海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。

八、使用临时表和中间表

数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作，可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。

九、优化查询SQL语句

在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。

十、使用文本格式进行处理

对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择，是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。

十一、定制强大的清洗规则和出错处理机制

海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。

十二、建立视图或者物化视图

视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。

十三、避免使用32位机子（极端情况）

目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。

十四、考虑操作系统问题

海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。

十五、使用数据仓库和多维数据库存储

数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。

十六、使用采样数据，进行数据挖掘

基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出400万行，经测试软件测试处理的误差为千分之五，客户可以接受。

还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。

海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

1. 实施整合，同步，导入和导出不同的内部和外部数据源。

2. 确保所有数据库都根据业务的恢复目标进行备份和测试。

3. 创建和部署数据库脚本。

4. 规划和监控生产，开发和备份环境中的数据库容量和安全性。

5. 配置数据库监控工具和工作。

6. 安装和配置新的数据库服务器和软件。 排除故障并解决可靠性和性能问题。

7. 制作数据库环境文件。

8. 负责数据库服务端性能参数优化(含操作系统、文件系统、硬件设备的性能参数优化)。

9. 负责跟踪、及时响应和解决公司平台项目在客户方的上线过程中出现的数据库相关技术问题。

一、拟订年度消防工作计划，组织实施日常消防安全管理工作;

二、组织制订消防安全制度和保障消防安全的操作规程并检查督促其落实;

三、拟订消防安全工作的资金投入和组织保障方案;

四、组织实施防火检查和火灾隐患整改工作;

五、组织实施对本单位消防设施、灭火器材和消防安全标志的维护保养，确保其完好有效，确保疏散通道和安全出口畅通;

六、组织管理义务消防队;

七、在员工中组织开展消防知识、技能的宣传教育和培训，组织灭火和应急疏散预案的实施和演练;

八、公司消防安全责任人委托的其他消防安全管理工作。

九、消防安全管理人应当定期向消防安全责任人报告消防安全情况，及时报告涉及消防安全的重大问题。

职责：

1、负责公司运营数据统计和分析，并形成日、周、月、季、年数据分析报告;

2、优化运营数据模型，对运营各个环节提出建设性的改进方案;

3、收集和分析异常运营数据，为运营提供有效的数据支持，并根据数据提出有效的应对策略和需求分析;

4、负责公司市场、行业、竞争对手情报收集，并利用与运营决策;

5、负责统计各类数据，定期更新数据库，完善数据指标体系;

6、牵头开发新的数据报表，完善建立业务数据的多方面监控体系;

7、与外部门沟通，优化数据，报表的提取流程及途径;

8、与团队一起完成数据分析报告及定向分析报告，对内支持运营团队的业务数据需求。

9、完成领导交办其他工作任务;

职位要求：

1、大学本科及以上学历，数学、统计学、专业优先;

2、精通excel、ppt等office办公软件(必须条件)

3、具有清晰的逻辑思维能力，良好的沟通表达能力;身体健康无疾病

4、具有互联网数据分析工作经验者优先;

职责：

1.负责公司内各类数据汇总收集 ;

2.基于公司规划，对数据进行标准化处理与转换 ;

3.负责数据脱敏、权限管理等数据安全管控;

4.负责数据库的安装、管理维护、监控和性能优化;

任职要求：

1.本科计算机及相关专业

2.熟练掌握sql语言，有sql性能优化经验者优先

3.熟悉Oracle、MySQL、SQL Server等关系型数据库，有存储过程开发经验者优先

4.了解主流ETL工具

5.有医疗保险项目经验者优先

6.有良好的理解、沟通能力及责任心

20xx年以来，本人在局党委的正确领导下，在各兄弟处室和同道们的大力支持和积极配合下，以学习实践科学发展观为指导，牢牢围绕年初局党委制定的中心工作，加强学习，自我要求，勤勤奋恳办事，清清白白做人，爱岗敬业，认真履职，廉洁自律，较好的完成各项目标任务，现就述德、述学、述职、述法、述廉情况汇报以下：

一、述德情况本人时刻牢记自己是一位我党员的身份，坚持正确的人生观、价值观、世界观和荣辱观，做到“慎独”、“慎微”、“慎初”，自觉遵守社会公德、职业道德、家庭美德，做到品行端正，作风正直，尊老爱幼，家庭和睦，老实取信。同时严于律己，当好榜样，建立单位风清气正的工作氛围。

1、忠于中国特点社会主义事业，拥戴中国我党领导;时刻忠于国家利益，维护党和政府形象和权威;遵守国家宪法，模范遵遵法律法规。

2、模范遵守社会公德、家庭美德，老实取信。酷爱本职工作，身体力行，坚持以人为本、服务民生，为增进科学发展和社会和谐作出积极的努力。

3、具有勇于担当的责任意识;具有实现“在全市率先建成小康社会”目标的责任感和使命感;刻苦研究业务知识、工作精益求精的敬业精神。

4、坚持为政以廉、出于公心、公道正直的原则，用自己的一言一行，为身旁人和处室全体职员作出榜样。

二、述学情况一直以来，本人牢固建立活到老学到老学习理念，坚持向书本学，向实践学，向有经验的老同道学、向四周学。

1、天天坚持看书、读报阅读新闻，了解国家大政方针，及时把握并理解消化。

2、充分利用网络学习平台，认真学习专业知识、财经法律法规、和个人修养等各类学习课件。通过学习，进一步解放了思想，明确了工作思路，开阔了视野，丰富了知识，进步了驾驭工作的能力。

3、建立学习周制度，每周五下午定期和中心全体职员一起学习《会计法》、《审计法》和财经法律法规等专业知识，不断进步自己的业务能力，将自己变成财务和审计的专家内行，业务指导的能手。

三、述职情况(一)加强预算执行管理，规范财务收支行为今年以来，本人严格依照市财政局核定的部分年度预算指标，从严从紧控制支出，并定期对各单位、部分的预算执行情况进行统计分析，下发通报;同时为进一步加强财务管理，规范财务收支行为，强化财务扎口管理，六月份，把局属九家行业协会财务也纳进局财务中心进行同一管理，所有支出须经财务管理中心审核后方可列支 避免了支出随便性。

(二)强化制度建设，建立健全财务制度管理为进一步加强财务管理，规范支出行为，进步资金使用效力，根据相关财经法律、法规和财务规章制度，结合我局工作实际，本人相继牵头起草制定了《xx市建设局财务管理(暂行)办法》、《xx市住建局招标文件和重要合同监督管理制度》和《关于对固定资产等实行集中同一采购管理的》的通知。《通知》就财务集中核算、预算管理、进账核对、民主理财、报账程序、经费支出、合同和招标文件审批流程、合同签订、招标文件发布和固定资产分散采购管理等方面均作出了明确规定。做到以制度管人、管事，以制度增进管理。本人牵头组织对固定资产分散采购实行集中采购以来，已组织集中采购五批，为局机关和局属企事业等我勤俭资金5.945万元(各单位申报价格总额59.685万元，实际采购价格总额53.74万元)，降落比例为9.96%(三)加强审计监督，发挥财务监督作用为进一步加强对局属企事业单位财务收支的监督管理，推动我局内部审计工作不断深化，今年4月和9-11月，由本人牵头，分别组织对局属各行业协会20xx-20xx年度财务收支和绩效管理和各企事业单位20xx年度的财务收支情况进行了审计，通过审计，找出工作中存在题目，进一步规范了财务收支行为，增进各局属行业协会和企事业单位精益求精工作，更好的履行职责。今年以来，本人不断创新内审工作模式，首次对被审计单位实行投递审计新模式，并首次把被审计单位绩效管理也纳进到审计的范围，获得了明显成效。

职责：

1、 基于公司大数据基础和数据资产积累，负责大数据应用整体技术架构的设计、优化，建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。

3、 作为大数据技术方案到产品实现的技术负责人，负责关键技术点攻坚工作，负责内部技术推广、培训及知识转移工作。

4、 负责大数据系统研发项目任务规划、整体进度、风险把控，有效协同团队成员并组织跨团队技术协作，保证项目质量与进度。

5、 负责提升产品技术团队的技术影响力，针对新人、普通开发人员进行有效辅导，帮助其快速成长。

任职资格：

1、 计算机、数学或相关专业本科以上学历，5-20xx年工作经验，具有大型系统的技术架构应用架构数据架构相关的实践工作经验。

2、 有分布式系统分析及架构设计经验，熟悉基于计算集群的软件系统架构和实施经验。

3、 掌握Hadoop/Spark/Storm生态圈的主流技术及产品，深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。

4、 掌握Mysql/Oracle等常用关系型数据库，能够对SQL进行优化。

5、 熟悉分布式系统基础设施中常用的技术，如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。

6、 熟悉Linux，Java基础扎实，至少3-5年以上Java应用开发经验，熟悉常用的设计模式和开源框架。