Web容量规划的艺术

出版时间：2010-1  出版社：机械工业出版社  作者：阿尔斯帕瓦  页数：126  
Tag标签：无  

前言

　　2005年7月7日凌晨3点左右，我和我的同事卡尔·亨德森正在处理将网站Flickr.com的所有访问流量迁移到它的新家（位于德克萨斯州的一个Yahoo！数据中心）的收尾工作。原来在温哥华的那些基础设施的超负荷现象越来越严重，而且受到电力和空间的严重限制。因为雅虎刚刚收购了Flickr，所以是时候提高它的在线容量了。当我们将DNs记录指向崭新的服务器后，大约过了一个小时，卡尔不经意间看到了一则新闻：伦敦地铁刚刚遭遇了炸弹袭击。伦敦市民用具有拍照功能的手机和其他设备记录下了发生的一切。在接下来的24小时里，F1ickr的访问流量比以往任何时候都大，因为来自灾难现场的照片被不断地上传到网站上面。新闻也开始链接到这些照片，新服务器的访问流量因此到达了峰值。这不只是全民从事新闻工作的一个极佳范例，也是网站容量规划的一堂实物教学课。不幸的是，它来自于一场灾难。网络访问流量其有偶然性和不可预测性。如果我们没有将Flickr及时迁移到新的数据中心，它那天也许会宕掉。容量规划古已有之，从经济学到工程学等领域都有所应用。通俗地讲，容量规划就是资源管理。当资源有限且具有一定成本时，你就需要进行容量规划。当一家土木工程公司设计一个新的高速公路系统时，它需要对车辆承载容量进行规划，正如一个为大城市提供电力的能源公司需要进行容量规划一样。在某些方面，他们关注的重点和网站运营有很多共同点，许多基本的概念和重点都可以应用于这三门学科。虽然系统管理在20世纪60年代就已经存在，但是专注于为Web站点提供服务的分支还是新出现的。网站运营的很大一部分工作就是站点容量的规划和管理。这些只是过程而不是目标，并且它们由不同的部分组成。尽管每个组织采取的方式各不相同，但是基本原理还是一样的。

内容概要

　　　　网站的成功是以使用和增长来衡量的，而且网站类公司的成败(生死)是依赖于他们是否有能力来衡量决定他们的基础结构，从而适应不断增长的需求。作者通过自身实践给你提供所需要的相关知识和工具，来帮助你预知一些有威胁性的瓶颈问题和突然的网络增长，从而测量、部署并提前设计好网站应用的基本架构。     本书由John Allspaw(Filickr的工程运营经理)撰写，结合了他个人在Flickr成长过程中的许多经历和很多其他产业中同行的洞察力。在衡量增长、预测趋势、成本效益等方面，他们的经验都会给你一些可靠并有效的指导。

作者简介

　　John AllspaW目前就职于Flickr.com并担任工程经理一职，该网站以共享用户上传的照片闻名。自该网站1999年成立以来，使他聚集了丰富的经验。这些经验包括在线新闻杂志（比如：Salon.com、Infoworld.com、Macworld.com）以及一些当前急速增长的社会站点（比如Friendstet和Flickr）。　　John在Friendster公司时，该网站曾呈五倍增长。他负责将Friend-ster站点从只有几十台服务器的数据中心过度到多于400台服务器的两个数据中心，以支持重新设计的后端基础设施。当他加盟Flickr公司时，在温哥华只有一个10多台服务器的微小数据中心，现在在美国已经设立了多个数据中心。在他从事网站职业之前，John曾作为机械工程师在建模和仿真领域为国家公路交通安全局的汽车碰撞模拟实验做出贡献。

书籍目录

前言第1章  容量规划的目标、问题和过程　快捷但不好的数学　预测你的系统何时会失败　用系统统计表呈现问题　买东西：采购是一个过程　性能与容量：两种不同的概念　社交网站和开放式API的影响第2章  设定容量目标　不同种类的需求和测量方法　架构决策第3章  测量：容量的单位　容量跟踪工具的方方面面　应用程序监测　API的使用率及其对容量的影响　示例和现实　小结第4章  趋势预测　曲线拟合　采购　增加容量后的影响　长期趋势　迭代和校准　小结第5章  部署　自动化部署基本原理　自动化安装工具　自动化部署　小结附录A 虚拟化和云计算附录B 对瞬时增长的处理附录C 容量工具

章节摘录

　　用户期望显然，容量规划的终极目标是对你的用户提供平稳、快速的用户体验。除了容量之外，还有几个影响用户体验的因素。你的站点有可能已经提供了大量的容量，却仍然很慢。如何设计快速的网页已经超出了《Web容量规划的艺术》的范畴，但你可以从（《高性能网站》　（Highperformance Web Sites（OReilly），作者：Steve Souders）这本好书中找到大量有用的信息。尽管容量只是使得终端用户体验加快的一个部分，这个体验还是为了进行预测我们需要测量和跟踪的真实世界度量指标之一。例如，当提供静态网页服务时，你也许在任何系统层度量指标（CPU、磁盘、内存）到达阈值之前，到达一个难以容忍的的高流量的延时。在这种情况下，可以在网站页面结构方面而不是服务器发送内容的容量方面做更多的工作。但是，由于容量改变的成本较高，所以需要恰当的调研。感觉到网页很慢也许只是因为页面本身太巨大，而不是由于缺乏容量（这是souders书中的其中一个基本原则）。当任何用户感觉到慢时，好的方法是确认是否每个用例都被分析了。这个问题可以有2种解决方案：1）增加容量；2）修改网页的大小。第一种方案通常需要更多的成本。在Flickr，我们每秒钟需要提供上万的照片服务。每个照片服务器在到达它的上限之前可以提供确定速率的照片。我们没有根据磁盘I／0、CPU、内存来定义上限，而是根据特定的响应时间在我们能提供多少数量的照片服务。架构决策　 你的架构是关于你所有的后端组件（包括硬件和软件）是怎样结合的基本的设计。架构的设计对于规划和管理容量起到至关重要的作用。架构设计是个复杂的任务，但有一些很不错的书可以帮助你Building Scalable Web Sites（0’Reilly）（《构建可扩展网站》），和Scalable Internet Architectures（Peatson）（《可扩展的网络架构》）。你的架构几乎会影响到性能、可靠性、管理等各个方面。建立一个好的架构可以为容量规划减轻很多工作量。提供测量点不管是为了测量的目的，还是对变化的环境快速响应，你都希望你的架构设计完美，以便你能将它分割成不同的部分来执行离散的任务。在一个理想的情况下，后端的每个组件都有一个单独的工作要做，但如果需要，它也可以很好地执行多个工作。同时，它对每个工作的影响也可以很容易的被测量。

媒体关注与评论

　　本书是最佳的入门书籍，帮助网站很好地运行。不论你是在学习组织中的采购过程，还是在学习成功规划的一些特别的方法，对于任何一个想要了解如何建立下一个Flickrl人，这都是一本必读的书。　　——Chad Dickerson，Etsy CTO，Salon.comInfoWorld.com　前任CTO，Yahoo!Developer Network和Brickhouse领导者

编辑推荐

　　使用有效的工具测量和部量。对存储、数据库、应用服务器进行分析和预测容量。设计架构便于增加和测量容量。处理突发流量的峰值。预测指数和爆炸性增长。把虚拟化和云服务（例如EC2）引入容量策略。　　在《Web容量规划的艺术》中，作者吸引了多年来的一些有价值的经验，从他在Flickr的早期管理成本和性能的权衡开始，这些对于任何成长的公司都极具参考价值。《Web容量规划的艺术》所提供的一些建议将会帮助你为突发的增长做准备，并帮你避免很多的麻烦。

用户评论 (总计1条)

•   　　我读的是东南大学的影印版，就不评论翻译了。
  　　
  　　原书是08年写的，今天已经是2014，一晃5年多过去了，在互联网公司风起云涌的时代，这段时间不算短，然后，让我惊喜的是，此书现在读来几乎一点都不过时。
  　　
  　　一本加上附录才130来页的书，我估计至少1/4的篇幅是在讲案例分析，有Flicker自己的，有wordpress的等等，有分析http server的，分析缓存的，分析数据库服务器的，数据一看都是真实的，这点不像有些国人的书，为了证明一些理论，自己编几条一看就是假的数据，那图，那线条，完美……可现实工作中，你是看不到完美的线条的。
  　　
  　　好吧，一本讲容量规划的书竟然没有一条数学公式，连最简单的Little's Law都没有，但是，作者的方法实实在在，完全可操作。设定目标，测量，再测量，找系统天花板，然后看历史数据，做预测，等等……web服务器怎么测量，缓存系统怎么测量，数据库服务器怎么测量，存储怎么测量……经验太丰富了
  　　
  　　另外，书中一上来就说了，容量规划和性能优化是两回事，的确，作为开发的我，一看性能不行就想着去优化，但是，在规划容量的时候，别想着你能优化多少，也许你能，也许你花了几个星期都没结果。
  　　
  　　网站大了，容量规划还真挺重要的，拍脑袋预测，要么怕资源不够带来极大风险，要么买太多资源浪费钱，所以得学会抓数据看数据，用数据说话。