常山网站维护，网站什么地方适合云计算(以及为什么!)



　　存储

　　起头时，Picnik使用了一个开源项目，Mogilefs，用于文件存储。我们的大一小部分就事器都有几个闲暇的驱动器插槽，我们在这些插槽上接入大容量的SATA驱动器，用于 Mogilefs文件存储。大一小块配景供职凡是CPU麋集型的，所以与这些I/O鳞集型的存储配合得至关好。这个策略任务得很好，但存储需求超越CPU需求之后，就不行了，这时分，Amazon的S3效力看起来似乎是我们扩大存储的最容易也最便宜的方法。

　　在测试S3之前，咱们实践上并不有对用度用做几何评价，一方面是那会并不有太多的云计算可供选择，另外即是一些使人尊敬的工程师也戮力引荐S3，着末，咱们夙来就没渴望会大批使用。

因为开荒者的机网站制作器不有使用Mogile，所以也曾有一个框架用于接口不合的文件存储体系，这样一来，添加S3的支持就绝对容易些。事实上，仅用了或者一天就完成了S3赞成，又测试了一两天，往后就将其打包到咱们的每周例行颁布中了。这种完成的繁难性也是咱们选择S3的另一个要害要素。

　　

　　一开始，我们计划只将最早的文件迁徙到S3，这些文件是从2007年12月份开始的，由于这些文件接见会面频率对比低，不用怎么耽忧性能和可用性方面的问题。这个形式非常棒，S3看起来性能也很好。

仅有的不足，我们从Mogilefs中迁徙文件的速率不够快，不有跟上文件增长的速度。而且 Mogilefs也起头涌现一些性能标题问题了。咱们的解决方案跟其他几家大网站制作型网站一样:将文件直接存储到S3。起源时，只将一小一小块新文件直接存储到S3，然后逐渐增长，一直到绝大一小块新文件都流向Amazon。如许，事宜又OK了，咱们就转去解决其他标题了。

　　只管S3也曾相称靠得住了，仿照照旧泛起了一些值得当心的题目。我们遇到的第一个题目是最终一致性(eventual consistency)标题，根本上，这意味着不能保证即时读取刚写入的文件，在写入到西雅图的S3集群后，再试图从EC2中读，这个问问题会更很有问题。通过将所有的文件走访都从咱们在西雅图的数据外围代理而使这个标题问题有所弛缓，但多么一来，我们的带宽就增进了。

我们遇到的第二个问题是Amazon?前去HTTP50网站制作0过失，咱们的代码能够对不行功的哀求发展重试，这在大少数环境下工作良好。每一两周，我们都会遇到舛错顿然爆发，以至于重试逻辑都不起浸染了。这种爆发会持续一小时左右。一天，我正在查抄发生发火错误的要害字(keys)，把稳到这些枢纽字都有近似的前缀!终于证明，S3是基于症结字的局限对数据发展分区的，这象征着维护(如增减某个分区容量)会招致某个局限内的要害字少许蜕化。Amazon这样做是为了保持S3的高性能。对咱们而言，这类突发性谬误更大程度上是种忧?，由于我们还有Mogilefs在起感召，如果写到S3失败，将其写到Mogile:等于了。随着增长率趋于稳定，这个题目现在曾经很少涌现了，但Mogile依网站制作旧在发扬感化。

　　确实我们碰到的这些问题是构建大规模琐细注定会发作的，所以 Amazon也用不着拆穿什么。人们很容易遗忘，这实际上是一个有着很多用户的规模巨大的散布式体系。

　　随着流量的增长，咱们愈来愈寄予于S3。要是S3宕掉了，一天的大部门工夫里，咱们的Mogl都无法处置伟大的恳请。幸运的是，S3大一部分标题都不是发作在我咱们网站的岑岭光阴，以是 Mogilev还能够应付。我也应该提到的是，Mogile在两种状况下会宕机几个小时，种状况是修正 MYSQL的表构造，尚有就是调试Mogilev的Perl代码。这种时分，1009%的流量城市压到S3上，而咱们的用户则从来不知道制作生了什么。

“无穷”存储的一网站制作个戕害是很容易形成糜掷。对我们来说，我并没怎么留神删除无用文件的后台作业业，关于确立的文件，最终会删撤消近75%，而无用文件增长起来是急迅的。

　　即使我们曾经当心到了这个标题，我们事实上照样决意疏忽它。Picnik的每一整体都很忙，而且这看起来也不是甚么大不了的问题，再说了，还有更棒的新听从或其他的伸缩性标题问题需要我们去存眷。乏味的是，S3让我们选择或者招聘与锻炼更多的人，或者更简单，写张支票就好了。在咱们的光彩卡月度额度快用光的时分，所有都变了。

经过几个月的斡旋、综合与重写代码，咱们结尾拿出了一份清理无用文件的可伸缩方案。起首是数据库对无用文件记实发展清算，日后在数据库的文件记录和S3上的关头网站制作字列表之间做一个大型的邻接操纵(a large merge-join)，以试验实际的删除。

　　在完成更好的清理琐细的过程当两端，我们最早体会到，S3对咱们的任务负荷(workload)来说，实际上是尤为低贱的。先前的成本解析纯粹没有思忖PUT哄骗的资源。得多S3的负荷中，存储老本占了大头，因为文件上载之后，在随后的一个很永劫段内，只不过偶然接见会面下。正如后背所提到的，咱们的负荷是建设少许文件，日后在随后的几天里就删掉了这意味着PUT垄断的资本上升了。

熟识到这点以后，咱们末尾努力优化Mogilefsl的性能，并且钻研高性能的NAS制作品。末端，我们实现了一个基于Linux的NFS概念体系作为前端存网站制作储，这象征着只有要在S3上存储跨越1周的大要25%的文件，这些留上来的文件也也有一个对S3来讲愈加友人的存取模式。

　　有很长一段年光，我们都不明晰S3是否是依然合乎。尽管更为保守的NAS硬件看起来贵了点，但若你对常设存储需求有决心信念的话，可以在一年或两年内分期付款。而另外一方面，许多创业公司的CFO(包罗我们自己的)都邑陈述你，为了维持活络性和未必程度的冷静，多花点儿钱也值得逐个这种天真与冷静即是S3供给的。当然，这类活络性比将此破耗举动当作运维费用仍是资本费用更为需要。至于我们所爱护的，就只是运维费用了，由于这直接与流量与功能有关。

　　混计较算

Picnik主要的办事端组件之一是咱们的渲染场(ren网站制作der farm)。用户在Picnik上生存图少顷，经常需要在供职端重修这个图片。这时候，客户端会向办事器发送一大段XML文本形容用户的编纂哄骗。Web效力器收到后，会将所需要的图片连同XML文本共同打包，并将其参与到衬着功课行列中。衬着供职器获取该功课，重建图片，尔后将终究图片前往给Web做事器。此时，客户端处于壅塞状态，等候干事器的相应。大多数工夫，客户只有要守候几秒钟。

诚然这是可伸缩细碎的模范架构，咱们在设计时依旧思索到了未来对云计算的需求。这时的渲染办事器不需要访问任何内部效力，如数据库或存储供职器。简言之，它们十分适合于运行在EC2上，另外，我们已有了一个本人启示的配置整治与代码安排网站制作系统，喻为Server manager。

　　像S3一样，实际实现起来既容易又快速。外部的衬着场曾经思索到了运转在Xen之上的WM了，以是我需要做的就是一些简单修正，使衬着处事器的VM映像适当于EC2的Xen找，今后将其打包为AMI。在映像启启动时，起首邻接Server manager?获取需要安装和运转的组件列表，其中之一是Renderserver，Renderserver用于联接衬着行列以失掉衬着功课。我要做的第一件事即是激活两个实例运转一下看看怎样样逐一棒极了!

第二阶段即是去完成云哄骗的终极指数(loly Grail)了:踊跃伸缩(auto-scaling)。我们的积极伸缩实现起来照旧很容易的网站制作，因为所有处置凡是通过行列步队实现的。由于用户在守候衬着结果，所以踊跃伸缩代码的方针是护卫一个空行列步队5。每分钟都邑叫醒Server manager的一个线程，轮询行列的统计信息(上一分钟已做过均衡)，往后发展计算，看为了维持闲者和忙者的比例需要做些甚么。当然，由于流量与Internet延宕会有小幅波动，为提防不用要的振荡而对闲忙比例的修正会泛起通行景遇，如EC2实例有的时分需要几分钟材干创议，咱们的代码也思考到了这些题目。所有这些经验性的调整经历了一两周的工夫，体系运转起来以后，就颇为容易啦。

被动伸缩并不但仅是模范的容量需求标题问题，我们也碰到了诸如到EC2的Internet耽搁加大了，或网站制作颁布了一个代码修正而使得衬着速率变慢了。碰到这些状况时，我们先终了主动伸缩，直到找出劈面真实的启事并加以矫正为止。我们还修正了一个不对，这个过错使一小局部用户的生涯操纵败北，这一修正使衬着负载増加了20%正幸而圣诞节之前。

　　这种设置也很恰当批处置作业。一段工夫以前，咱们要重建一批缩略图，我就写了一些代码，将功课提交给渲染行列，日后用新的缩略图文件更新数据库记实。我不需要做任何特其余事件来分派空间或将作业设置在凌晨负载较轻的时候处置惩罚，Server manager只不过增加新的实例以适应新的负载需求。

从账目方面来讲，使用EC2比使用S3更明晰。咱们试图扩建内部衬着以满足均匀的容量需求，同时，将做网站制作衬着的CPU转换到做Web干事的CPU也容易。这意味着将云作为衬着办事器给Web效劳器带来了一些动态共性，这让我们易于顺应负载模式的变卦，而且，通过逐步购买硬件的方式，这也让我们更有效地使用现有的硬件。比如，可以在数据核心订购个新的机柜，往后把服务器上架，而不用耽心俭仆大一部分的机柜电力。

一般与EC2有关的题目主要齐集在连贯性上。尽管互联网作为一个整体是牢靠的，但任何两点之间的毗邻却并非如此。通常，如果标题问题涌现在网络与数据外围之间，只有一小有部分用户受影响，但是，假定网络恰好是云计算供给者，则所有用户都市受影响。这类类型的宕机可能极为严重，由于题目可能出在何等的地区，便是不管是你仍是云计算网站制作供应者都不无为之付费，即双无论的区域。

　　在发生发火严重标题问题时(而且是在劳碌时段)，仅有的选择等于摒除负载。过去，我们只有种方式管教让几何用户进来，现在咱们按优先级将用户分类(乘客、付费用户、相助伙伴、金牌用户)。可情的是，大大都情况下，你不得不期待宕机恢复。不论哪种情况，我们做的第一件事项即是更新 Twitter信息(fecd)，这些消息也展现在咱们的It's raining onour Picnik”页面上。咱们并不诘问诘使命何人一个用户才不关爱这些呢。

我们的确不像对外部做事器那样监控EC2实例。Nagiosi通过 Servermanager积极获得EC2实例的信息，Nagiost也监控行网站制作列步队深度，由于这是很多标题问题的预警器(early indicator)。

　　Caci以图示方式展示运行实例数(通过EC2API)及集群层层面上的性能数据。我们不需要在 Cacti上增长单个实例的信息，因为它并不理论处理集群，况且实例还是消息变卦的。

　　事实上，我们并不珍爱单个实例的性能，曾经晓得这些实例比当地机械上的要慢一点。不妨事的，因为被动伸缩琐细总能在现有资源的条件下找到失调。

由于实例是从行列步队中失掉功课的，EC2实例稍微慢一点，只是少干点活儿罢了，不会躺倒不干。这使我能够会合精神关注高层的性能数据，如一天中使用EC2实例的比例是几许。在一天完结时，只有要针对web做事器做容量规划，从而决网站制作议硬件购买决议计划，而衬着任事器只是从未使用的容量中获益。

　　要想有效使用网站建设云计算资源，需要对应用架构与配置筹算/自动化有一个合理的“增长”立场。我们将衬着管事器设计为可分化的，以及我们手边已经存在设置装备摆设办理体系等，这些事实使得踊跃伸缩实现起来既容易又牢靠。