111 四月 12th, 2016

012
传递门: 京东

推荐大序: ———————————————————————————————————————–

 

过去十多年,中国互联网见证了腾讯、百度等巨人的崛起,这些公司把握机会,迅速成长,在规模、效益、技术方面能与Google、Facebook、Amazon等国际巨头媲美。这些中国互联网巨头的崛起,很大程度上是由于他们有一批非常聪明、勤奋、进取的优秀员工。这些员工结合中国互联网的实际情况,不断摸索,探索出最适合中国国情的技术、产品、经营经验。这些宝贵的经验值得每一个中国互联网从业人员学习、借鉴。 本书作者唐文正是这些中国互联网巨头公司优秀员工中的一位。他在腾讯、百度从事了多年数据中心及后台服务运维,见证了业务量成百倍的增长,运维的系统支撑了每天上亿甚至数十亿计的用户请求。他把多年的运维经验总结出来,与大家分享,也算是对中国互联网业的一份贡献。 本书有大量腾讯、百度等公司运维系统的实际数据,能把这些“干货”分享出来,是本书与其他运维书籍、文章的最大不同。从这些实际运维数据,可以看到腾讯、百度等互联网巨头的数据中心、后台系统、用户数量的发展历程。 本书也总结了运维规划、运维质量、网站加速、网站监控、数据中心建设等方面的大量实战经验和心得体会,这些经验是每个互联网运维工程师、架构师、管理人员都必须掌握的。 衷心希望每位读者,无论是新手还是老将,都能从本书受益。

——高德软件技术副总裁 陈军

对于很多互联网技术大拿来说,技术能力水平的确已经是很高,但是因为工作压力和文案水平的原因,很难有成体系的总结。这就造成了现在市面上很多前沿和先进的技术知识在市面上鲜有出书。唐文作为有心人,不但能把工作做好,并能把工作中的经验花时间总结成书,并且成体系的归纳出来,实在难能可贵。也可以算是互联网从业者们的福分了!这本书能从中国一线互联网公司,积累总结出来的这些知识,对于想初窥门径的初学者,或者已经有若干年经验的成熟老手,都是一个难能可贵的宝贵资料。在中国的市面上还很少看见这样的书,书中把当今中国一线互联网公司的运维工作,成体系的搬到了大家面前,让大家看到中国一线互联网公司是如何做技术运维工作、如何做产品速度体验优化的,以及做这些工作的方法论。 在这本书中你可以看到了很多经典案例,以及在案例中给出的大量的真实的运营数据和图表,非常宝贵!这些数据、方法、以及经验在当前中国互联网技术相关的书籍中,是非常少有和珍惜的。 同时,这也是一本适合互联网业务的架构师,或者想成为互联网业务架构师的技术人员阅读的书。书中介绍的很多案例,都是从技术架构上做的。让我们看到,中国一线互联网企业,在这块是如何做的。他们是如何实现全局负载均衡的,他们是如何实现容灾、柔性等特性,以及他们是如何去实现成本、效率、质量3者之间的平衡。我相信这些丰富的案例,以及方法论,应该给你足够的启发,让你能够想到自己的业务架构如何做是最合适的、最合理的。

——腾讯网络媒体事业群 运维总监 王鲁强

推荐小序: ———————————————————————————————————————–

 

云计算、大数据和移动互联,正在驱动着我们的生活产生巨大改变,这改变背后的核心动力之一,是一套规模化、安全、稳定、高效的运维体系和具备驾驭能力的运维人员。一名出色的运维人员,是学习型,复合型和实用型人才。越来越多的朋友有志或已经成为运维大家庭一员,而市面上,帮助大家系统的学习和分享大型网站运维的书籍少之又少,是个有待挖掘的领域。唐文有多年大型网站运维实战经验,其汇聚多年积累撰写的《海量运维、运营规划之道》正是一个可贵的尝试和思考,给广大运维从业人员提供了一个途径:既从真实场景出发,解决实际运维问题;又能提炼归纳,成为构建大型网站的指引方法。相信大家结合本书内容和自己面对的应用场景,学以致用,举一反三,能够受益良多。

——阿里技术保障总监 张颖杰

当我看到本书的初稿时,顿时有一种相见恨晚的感觉。自己从事运维管理、运营系统建设工作已经7年,期间阅读过不少好文,自己也写过一些对局部领域的总结文字,但是如此全方位、多角度、具备实战价值的“运维宝典”,还是第一次遇见,实在是爱不惜手。衷心希望kevin兄弟的大作,能为战斗在运维岗位上的小伙伴们理清工作思路,找准发展方向,登上新的台阶。

——腾讯技术工程事业群 运维总监 肖志立

在百度, RD,OP,QA经常挂在嘴上的一句话就是“永远要对线上保持敬畏之心”,在大数据时代, critical infrastructure的体量都在十几和几十万服务器的级别,互联网上突发流量场景(如双11)也不断出现,这些都对线上集群的运维提出了很多新的挑战,这本书能为你找到很多的答案。

——百度测试部 总监 高亮

喜欢读唐文的书,因为他的文章能够给互联网从业者以真正的启发、指导和引领。启发如何从运营角度构建互联网架构,指导如何解决大数据时代海量数据运营问题,引领如何成为架构师和COO。文如其人,简单而厚重。

——百度运维部 技术经理 沈慧勇

这是我看过的最实用的海量服务ITIL平台建设工具,没有之一!对于快速发展的中大型互联网公司,关注系统的效率、服务质量以及投入成本是永恒的话题。这本书用非常实战的案例、大量的统计数据和体系化的实施方案告诉读者如何解决公司最关注的问题。

—— 1号店IT部 资深总监 胡茂华

我认识唐文从2012年开始,那时他常下班及周末闭门不出,都在精心准备这本书的素材,我非常佩服他的用心及毅力。也一直期待拜读他多年呕心沥血之作,现今完稿,非常值得恭喜及庆贺。这本书绝对让我及其他读者受益。我想区别于其他此类书籍的是此书中素材是唐文过去近十年实际工作经验精华的总结,而他的经历与中国互联网飞速发展正好同步,海量运维的发展他一直置身其中。所以此书对合适读者借鉴意义就更有现实意义,相信读了此书的朋友一定会有我同样的感受。

——携程旅行网高级总监 酒店事业部产品技术负责人 蔡新发

互联网运维是一个涉及知识面比较广的工作岗位,所有的工作也是围绕着服务质量、速度和成本进行展开 ,同时还需要考虑服务的可运维性(可扩展、可监控、可容灾、可调度等)和安全性。本书全面的介绍了大型互联网公司运维工作所涉及的各个方面,你甚至可以从中了解到运维流程、服务考核、标准相关的内容。10年与唐文结识,他在CDN和访问质量方面有非常丰富的经验,在百度负责用户访问质量topic,本书自然也在访问质量监测、优化方面有较详细的描述。

—— 小米 运维总监 井源

当我翻看本书的时候,一种久违的温馨和激动油然而生,他正是以切身的经历阐述了运维的方向,我有着深切的共鸣,端琢之下,书中还不乏真实的案例乃至数据,这些资料在圈内都是极为珍贵的,这也是本书的一大特色。据上,我诚挚地推荐:本书既适合业界人士的科普,也适合对运维有一定经验后系统的整理思路,尤其对提升网站的用户访问速度的有指导作用。相信:它和他一定能帮助大家规避弯路,直踏康庄大道。

——宜搜科技 研发总监 刘捷

如今的互联网运维,运营,规划及优化愈发依赖用户体验量化和客观业务发展,因此与时俱进的运维思想及规划理论非常重要。《海量运维、运营规划之道》将复杂的思想和理论深入浅出,配合真实的案例更具说服力。作为一线的互联网用户体验管理体系的推广者,我极力推荐业内同事阅读此书!

——基调网络 技术支持副总裁 褚冬毅

每一位运维人内心对运维都有自己独特的理解。笔者从自己多年经验出发,为读者展现一个运维的高层视图。给这个容易被误解的行业一个整体的介绍。新手可以获得整体知识脉络,老手亦可充实自己的知识库。尤其是成本和速度优化部分浓缩笔者多年一线经验,值得一读。

——百度运维部 架构师 刘卓

Posted in 未分类 | 111已关闭评论 |

基本意识 三月 11th, 2016

应用性能木桶理论

 

互联网产品是创意、研发、系统、网络、硬件、维护等所有资源相互交织的集合体,这些资源彼此之间有着千丝万缕的联系。它们必须通过共同协作以期达到稳定产品运行及良好用户体验的最终目标。如用木桶理论帮助理解的话,也就是说一只木桶能盛多少水,并不取决于最长的那块木板,而是取决于最短的那块木板。所以也可称之为短板效应。而将木桶理论进一步延伸来看,新木桶理论认为一只木桶能装多少水,不光取决于最短的木板,更应该取决于木桶是否存有缝隙。若木桶存有缝隙,则水将不断流失。

 

 

 

 

基本意识和思路

 

应用性能监测、分析、优化的过程就是找出“木桶”的短板、缝隙并进行修复的过程。而“木桶”中的水,就是产品价值和用户体验。本人的一些相关思路,会在随后作详细阐述,以便帮助大家参考理解。

 

Posted in 未分类 | 基本意识已关闭评论 |

在腾讯、百度实践的体会 三月 11th, 2016

 

天下武功,唯快不破

 

其实腾讯早在2006年就已经开始大规模性能优化。在当时还是门户混战的资讯时代,我有幸加入腾讯并负责腾讯网的整体运维和运营规划工作。由于历经两期大规模性能优化,当时的资源和工具都极其匮乏。于是乎,从组建全国分布式IDC、CDN、GSLB、质量监测等平台建设到联合8大部门近50人的跨部门性能优化团队,由前端、后端、系统、网络、内容等维度进行了体系全面的优化,使其最终反超传统门户网站,后来这些平台也慢慢沉淀为腾讯的基础公共平台。

 

由于资讯时代的互联网新闻比竞争对手快一秒发布,都会抢占商业先机。所以当时互联网最核心的公司文化是用户体验第一——即快速发布、快速分布、快速打开。我们会根据实时统计的全网用户浏览新闻速度和用户偏好,随时调整、优化内容,让用户阅览新闻快如闪电。用户体验也已经成为工程师的核心文化。“速度影响用户体验”这是当时身边所有同事都默认的基本规约,也是工作的基础准则。从架构师全局可用性设计,前端工程师优化代码、后端工程师优化逻辑、网络工程师优化延时、系统工程师优化内核、产品工程师优化体验等,每位同事都在为用户体验做贡献。而我有幸经历了腾讯网两次大规模性能优化,使其从原来远远落后业界水平,四大门户最差,到经过优化后全面反超,由此带领团队也因此获得了腾讯重大架构一等奖。

 

经过3年两次大规模的性能优化,让自己对互联网职业有了更为深刻的理解。任何职业,无论是产品、研发还是测试、运维,越往后发展,衡量标准不仅仅是职业基本技能,而能否考量用户体验已经成为优秀与否的重要标准之一。用户体验的优化更是一个复杂的系统性工程,需要一套完整的监测、分析、优化平台和方法论,而这更迫切地需要每一个参与产品的人在意识上的高度重视,任重且道远。

 

 

 

搜索之争,一秒判生死

 

自2011年加入百度,我主要负责百度产品的访问速度优化改进。当时中国互联网已经进入“搜索时代”,让人们最平等便捷地获取信息、找到所求,是百度一直孜孜不倦的追求。而搜索速度一直是搜索引擎用户体验重要的组成部分,也是技术上挑战最大的难题之一。一方面,搜索引擎趋向于索引越来越大的数据和采用越来越复杂的策略算法,这些都会增加后端检索时间,导致搜索速度变慢;另一方面,用户电脑性能和网络环境都对搜索速度有非常大的影响,而这些因素都在搜索引擎技术控制的范围之外。

 

那么每提高0.5秒的检索速度需要多大的投入? 事实上,通过极速搜索的创新模式,在保证搜索质量的同时,百度能够将原有搜索速度提高5~10倍,最快0.04秒即能返回结果。而为了实现这一功能,30多位百度核心工程师对检索系统的29种技术模块进行了升级改造,保证了极速搜索服务的可靠性和稳定性。为了解决预测所需的大量计算,百度全年在服务器等基础设施上投入超过一亿人民币。那么每提升0.5秒的速度,又能给用户和百度带来多么大的价值?百度曾做过一个有关搜索速度和用户体验关系之间的试验:在一个较小的区间内,搜索速度每延迟100ms,无点击比例就会增大1%;而随着区间的增长,这个关系会呈现出指数级的曲线。由此可见,虽然我们无法明显感知100ms的变化,但眼球已按照潜意识的指引做出选择。正因如此,可以说,速度是令搜索引擎高下立判,甚至决定其成败的要穴。有鉴于此,历经近三年的持续性能优化改进,最终将百度网页搜索、移动搜索、多个商业产品及社区产品速度优化到业界最快。

 

由于当时没有成体系的监测工具,第三方只能满足很小的一部分需求。而要支撑公司级性能优化,每年要支付给第三方300万元。最终作者带领团队搭建了UAQ(用户访问质量)、APM(应用性能管理)平台,协助百度网页搜索、移动搜索、多个商业产品及社区产品速度优化到业界最快,这些平台通过融入百度商业平台,直接让百度的企业客户受益。如下图所示:

 

 

Posted in 未分类 | 在腾讯、百度实践的体会已关闭评论 |

关于用户体验 三月 11th, 2016

无处不在,实时发生

 

在现代市场上,企业是由运行他们商业价值的产品所定义,而产品的用户体验则直接决定了企业的收入和声誉。而如今,互联网蕴藏着巨大的财富,企业应用逻辑及应用所在的环境日益复杂、业务数据量也日趋庞大。随着智能手机、平板电脑与多浏览的广泛使用,以及云计算和虚拟化的逐渐普及,使得影响应用性能的因素变得越来越复杂,并且情势愈发严峻。所有几乎参与产品的人、事务和资源都会产生用户体验问题,而往往这些不同维度的体验问题会叠加在一起,并不断放大,例如产品逻辑、开发语言、代码性能、基础网络、服务器及云环境等,具体影响如下图所示:

 

 

直接转换为商业损失

 

据 Google Analytics 数据统计, 目前移动网页平均加载时间至少需要 7 秒;据Nielsan Norman Group 的调研结果:如果移动网页加载时间超过 1 秒,将开始影响用户的使用,导致用户产生反感。据我们自己的体验也容易理解, 如果在手机打开一个APP应用,如果超过3s还是白屏,我们基本会放弃使用这个APP应用。值得关注的是,用户放弃使用或减少使用将直接影响企业的收入。所以说,应用性能问题转化为损失将远超于我们的想像。而这种损失从某种程度上来说,不仅危害了企业本身的商业模式和产品价值(这种情况用户不会关心产品价值本身是否好坏),而且直接对产品所在的企业产生不信任感,甚至进一步影响到企业形象。例如:

 

1、用户体验大幅落后竞争对手。

2、网页和应用速度慢直接导致大量用户永久性流失。

3、用户点击意愿下降、访问量减少、收入锐减。

4、导致搜索引擎降权,减少曝光率。

5、性能问题随着全网、全端、全球化深入推进,损失将会放大数倍。

6、无法评估日常发布质量,无法保障发布是否会影响用户体验。

7、导致推广成本浪费,增加企业运营成本。

8、性能问题会交叉影响,并不断放大危害。

9、缺少性能评估数据、性能问题权责不清晰,各团队解决问题效率低下。

10、不能评估IDC、CDN等运营商服务质量和优化收益。

 

用户体验已经成为衡量应用好坏的最终标准。Google等世界级巨头是性能优化的先驱,而且多年将性能优化放在重要战略地位。

Posted in 未分类 | 关于用户体验已关闭评论 |

写在最前面 二月 2nd, 2016

为什么要写这本书

 

在人际关系中,良好的第一印象至关重要。人们愿意在彼此身上寻求信任与安全感,并期望在接下来的实践经历中重现及增强这些好感。同样的道理也体现在互联网产品中。在打造良好的品牌信誉及与终端用户持久信任关系的过程中,用户体验扮演着极其重要的角色。如今当我们访问的移动应用速度慢、图片页面无法打开、视频无法下载、交易拥塞等症状时,大多数人会选择毫不犹豫地离开。正是由于越来越多的互联网应用承载着企业的商业价值,而每当出现应用性能问题时便直接转化为实际收益损失,所以解决性能问题之关键,关乎用户体验、也直接影响效益营收及企业核心竞争力。

 

正因如此,Google、Yahoo、Facebook等全球最优秀的互联网公司投入巨大的人力、物力,长期对性能进行优化和保持,同时也印证了高性能网站能够增加流量、提高用户体验,最终增加业务收入、降低运营成本,并沉淀下来大量行之有效的经验和工具。笔者在腾讯、百度工作近十年,不断向国际优秀前辈学习和借鉴,主导及参与多个腾讯事业部级、百度公司级应用性能优化项目,并取得巨大收益。此书以笔者亲历实践为基础,全面体系地为广大互联网从业人员介绍企业级应用性能管理实践。

 

这本书的不同之处

 

从Web1.0时代至今,工程师们一直在尝试各种方法,提高用户对互联网产品的浏览体验。在这个过程中,对用户体验改善有许多的理解和称呼,例如Web前端性能优化、Web性能优化、速度优化、系统性能优化、访问质量优化、可用性优化等,而无论是在哪一个时代、或是哪一种理解,都有一个共同目的——就是让用户体验更好。性能优化界的泰山北斗级人物Steve Souders曾说过一个定论:“80 % -90% of the end-user response time is spent on the frontend“最为业界所认可。他是Google Web性能布道者和前Yahoo!首席性能工程师,也引领这一领域多年;他把用户体验优化基本定义为前端+Web性能优化。随着移动互联网的发展,这一领域逐渐延伸到移动Web性能优化领域。如今大多数工程师们基本都思考过或曾经接触过性能优化方面的知识,如《雅虎34条黄金守则》,亦或是从众所周知的那几本很经典的性能优化指导书中——《高性能网站建设指南》、《高性能网站建设进阶指南》等。工作经验丰富的工程师们对于前端性能优化方式耳濡目染,基本都能一一列举出来。虽然这些性能优化原则大多是近5年所提出,但却对Web性能优化至今都有着非常重要的指导意义。

 

在互联网产品多样性、复杂化的今天,全球化、移动化、多终端,海量用户数据和实时性等新特点为改善用户体验带来了更大的挑战,甚至可以毫不夸张的说今天的互联网时代是比历史上任何时期都面临更加复杂的局面和更为严峻的挑战。互联网已经进入到用户体验至上的时代。企业商业价值的高度互联网化、移动化及激烈的行业竞争等,都会让企业对用户体验的追求越来越高。与此同时,用户选择门槛也会越来越低而使其更为挑剔,加上影响用户体验的因素越来越多元化及互联网技术、网络、硬件的高速迭代,这种种原因使得前端Web性能已经不再像以前那样对用户体验起到决定性作用。尤其是在中国存在其特有的差异性,从移动、前端、后端、网络、系统、应用、硬件、产品逻辑等都决定了用户体验。本书作者结合在腾讯、百度大规模性能优化的工作经历从一个全新的企业级视角来考量用户体验与工程师之间的关系,试图诠释如何建立完整企业级性能监测、分析与优化体系。

Posted in 未分类 | 写在最前面已关闭评论 |

世界,您好! 二月 2nd, 2016

欢迎使用WordPress。这是您的第一篇文章。编辑或删除它,然后开始写作吧!

Posted in 未分类 | 1 Comment » |

《大型网站性能监测、分析与优化》(全彩)即将出版,敬请期待:)