大数据在服务器运营中的应用

经过长时间的实习和总结，咱们发现效劳器运营的大数据有以下四个特色，由浅入深，分别是：1）Volume数据体量无穷，特别是腾讯有海量的效劳器，归纳起来，数据量能够到PB等级，需要大容量、高性能的存储技能，剖析的算法也需要最优化；2）Variety数据类型众多，触及许多的运转日志、部件状况、出产链运营、环境变量等，常常要抽丝剥茧，才干找到有用的数据；3）Value 价值无穷，但并不是每个数据都有价值，需要经过清洁和加工处置后，其发作的作用才干闪现，以机房环境温度告警为例，数百万条温度的信息，经过剖析比照后，才有能够发现温度反常；4）Velocity数据需要疾速处置，特别是告警类的运用，时效性是十分重要的。

下面讲讲咱们是怎样搜集和存储效劳器运营数据的，给我三分钟，给你一个英俊又有养分的答案！

运营体系架构

关于海量效劳器的办理，咱们建立了一套功用强壮的运营剖析体系，从效劳器的带内和带外搜集了悉数的静态属性和动态运转数据，对效劳器的每个关节进行的全方位的数据搜集和监控。犹如咱们平常体检，把心、肝、脾、肺、肾，乃至每个毛孔，都进行了查看。体系架构如下图所示。

存储和剖析

数据搜集起来后，除了一部分实时的数据存在本地数据库，简直悉数的历史数据都会存储在公司级的数据渠道中。这个数据渠道供给了丰富的东西体系，功用悉数，涵盖了数据存储、剖析、实时核算等。例如，TPG是依据postgreSQL的数据库，用于寄存TDW（Tencent distributed Data Warehouse腾讯分布式数据仓库）离线剖析后的成果数据，便于体系调用（如效劳器利用率剖析,毛病剖析、效劳器生命周期等出产数据）；Hbase依据No SQL，万亿级的分布式、有序数据存储，用于寄存剖析后的成果数据（如温度功耗剖析成果数据）。全体的架构如下图所示。

大数据的四个实习

大数据的规划剖析，决议计划者和开发者首要要从事务驱动的视点，挑选数据出产的事务场景，即要估计数据剖析得到的成果能带来哪些效益。依据公司效劳器运营的特色，咱们在以下四个场景做了大数据的剖析和运用，给实践的运营带来的实实在在的好处。

硬盘毛病猜测

硬盘是效劳器硬件毛病率最高的一个部件，假如能提早猜测到硬盘毛病，对事务体会、完善备件办理都有莫大的收益。这也是根底架构运营在经历主动化、流程化后，需要进一步进步运营功率、下降运营本钱的天然需要。

触及硬盘的运营数据包含事务IO数据、硬盘内部的SMART和硬盘运转的环境变量数据(温度和湿度)。当前，运营体系对IO数据是每小时搜集一次，SMART数据每三小时搜集一次，温度和湿度每半小时搜集一次，这些数据算计起来每天的记载数上亿条。硬盘毛病猜测，适宜运用分类算法，咱们运用了当前较为盛行的SVM分类算法，辅以适宜的核函数来加快学习核算的功率。

经过了一年多时间的实习，走了不少弯路，也碰到了许多坑，在硬盘毛病标准断定、事务IO分类定义等方面吃了不少的亏，咱们在依据SMART数据做的毛病猜测，到达了令人满意的作用。在实践运营环境中验证的成果如下：准确率precision到达98%，猜测时间leadtime的全体偏差不超越2天。

需要要点指出的是，咱们做的猜测成果，除了training期间用历史数据外，验证的进程是用现网的实时数据来进行的。即是说，经过SVM算法得到的猜测模型后，咱们是用最新搜集的实时数据输入到模型中，得到的ok和fail两种猜测成果，在3天、7天、14天后再对猜测的成果进行验证。这个比传统的猜测方法（练习和验证都是运用历史数据），对现网运用的价值大大进步了。当前在现网环境中，首要的落地场景包含：1）猜测出来的成果，经过运营流程，对BG事务提早宣布预警，以进步事务运维功率 2）依据猜测出来的大规模硬盘毛病，对备件进行有用办理。

效劳器利用率剖析

腾讯的事务类型和机型都相当多，机器分配给事务后，运用的状况如何？咱们需要盯梢效劳器的利用率状况，下图是某事务某机型磁盘IO的利用率核算剖析图。剖析进程如下：存储类机型，看到一段时间核算出来的IO的利用率并不高，并且是写少读多的运用，是不是能够考虑运用IOPS相对不高的贱卖硬盘？仍是事务的架构存在优化的空间？

效劳器利用率剖析给运营带来的好处在于：1）联络事务模型，发现事务运用效劳器的短板，在发现并批改体系架构缺点的一同，进步全体利用率；2）对机型选型的优化，例如关于磁盘容量运用率不高的机型，在后续的机型定制中削减硬盘的数量。

毛病率剖析

效劳器毛病剖析对效劳器的各个部件的毛病率都做了剖析和监控，包含1）生成月度毛病率报表；2）毛病率反常的实时监控和主动告警；3）剖析外部条件与毛病率的联络；4）与OS的软件告警信息联动起来，及时发现效劳器的亚健康状况。

上图是某效劳器硬件近来几周的毛病率核算信息。按部件给出各个机型的毛病率状况，及时发现批次性毛病并给出告警

环境监控

2013年8月，华东地区遭受稀有的高温气候，许多机房空调制冷扛不住了，频频发作效劳器高温重启的事情。假如能把机房环境温度有用的监控起来，咱们就能在发现反常时宣布高温告警，提早采纳措施。对效劳器入风口温度进行搜集和监控是一个较为有用的计划。

上图显现效劳器入风口温度改变的反常状况，经过数据的规整和误差批改，发作了高温告警。经过主动化流程，及时知会到机房现场负责人。

一些考虑

不要被数据误导

人们很简单被大数据忽悠。在许多场合咱们都谈了大数据强壮的功用和夸姣的将来，以为能够处理许多社会问题，乃至猜测将来。不管大数据如何奇特，若试图用大数据引领将来只会误入歧途，由于大数据背后本就存在着“先天不足”：从本质上看，大数据最大的缺点就在于试图以断定去“推翻”混沌与不断定性。之前咱们做硬盘毛病猜测，直观的以为硬盘的读写压力对硬盘老化和毛病是有直接联络的，但经过剖析，发现事务运用硬盘的随机性太大了，硬盘呼应IO的形式也许多变，关于事务的IO读写份额、块巨细等，有太多的不断定性，即是前面说的混沌，致使前面依据IO做的猜测成果十分差劲。本来这儿要说的即是，当前这个期间，依托大数据来辅导效劳器运营，不靠谱，效劳器运营智能化远远没有到达。这儿仍是要靠运营和开发人员的思想和脑筋，把主动化运营先做好。

数据质量的把控

数据的质量和字段规范性对后面剖析作用的影响很大。但事务开发所设计的数据不是为了运营剖析而效劳的，许多状况下都是为了功用开发而存在，假如能够在体系构建初期进行介入，本来可用避免许多清洁作业，数据可直接投入剖析运用。这儿开发人员和数据剖析的人员存在一个gap，假如对数据在体系设计中遇上各种束缚的话，开发人员会觉得很苦楚，开发功率十分低；而数据剖析人员却觉得假如数据能做到东西级定制，即是连数据的表字段的名称，注释，连内部联络，都是由体体系一生成，这样搜集完满的。

后来，咱们内部经过一段时间的评论和磨合，构成的一致。咱们做的是运营体系，归根到底是为运营效劳的，而数据剖析是运营的一个重要功用。所以没有办法，这个问题仍是需要开发期间来处理，开发人员只能克服了。

对大数据将来的想象

精细化的传感器

关于效劳器上传感器的设计，互联网公司有特别的需要，对上游硬件厂商的依靠是比较高的。腾讯有许多的效劳器运营数据，十分期望能够跟业界一同在数据、资本、算法等各个维度能够同享，寻求更多进步运营功率的途径。这儿的传感器也能够从广义上来打开，除了效劳器物理上的sensor不断增加，在效劳器各个运营环节都能够在流程中加入各种搜集代码，把效劳器布置、搬家、退役等每个细小的过程都照实的记载下来。运营体系的不断优化将使“传感器”体积微型化，它将出现在出产的每一个旮旯，为运营决议计划供给更科学的数据支持。

数据效劳即开即用

跟着数据的逐步完善和开放，互联网和公司都将建立起完善的大数据效劳根底架构及商业化形式，从数据的存储、发掘、办理、核算等方面供给一站式效劳，将各行各业的数据孤岛打通互联。并且数据运用的生态体系也将变得十分老练，乃至出现用户与数据效劳商之间的算法供给商，他们有专业领域内的高手人才，经过数据发掘的方法，寻觅事物间的联络。用户只需将其原始数据导入，供给商很快的就能在线的将剖析成果回来，如水和电相同，即开即用。
          TAG :机房监控 机房监控系统 机房环境监控 来源：http://www.create-china.com.cn