“穩(wěn)定，壓倒一切”，如何實(shí)現(xiàn)雙11的平穩(wěn)支撐是阿里技術(shù)人永恒的目標(biāo)。今天，阿里資深技術(shù)專(zhuān)家游驥，將圍繞“容量規(guī)劃的精準(zhǔn)度與確定性”、“容量規(guī)劃相關(guān)環(huán)節(jié)的效率和成本”兩個(gè)因子，詳細(xì)解讀阿里容量規(guī)劃的五次歷史演進(jìn)。

阿里資深技術(shù)專(zhuān)家游驥

2018年是雙11的第十個(gè)年頭。每年雙11備戰(zhàn)環(huán)節(jié)，穩(wěn)定性都是最受關(guān)注的頭等大事。

十年以來(lái)，穩(wěn)定性相關(guān)的技術(shù)體系和雙11就像DNA的雙螺旋，彼此相生相長(zhǎng)。在雙11場(chǎng)景的錘煉之下，阿里的穩(wěn)定性技術(shù)體系也成為了行業(yè)的標(biāo)桿和效仿對(duì)象。

穿越10年，雙11給技術(shù)留下最深的認(rèn)知應(yīng)該算是突發(fā)大流量的沖擊。

從第一年開(kāi)始，雙11的0點(diǎn)時(shí)刻就代表了我們的歷史最高業(yè)務(wù)訪(fǎng)問(wèn)量，它通常是日常流量的幾十倍甚至上百倍。因此，如何讓一個(gè)技術(shù)和業(yè)務(wù)持續(xù)復(fù)雜的分布式站點(diǎn)去更平穩(wěn)支撐好這突如其來(lái)的流量沖擊，是我們這10年來(lái)一直在解的題。

在雙11非常多的備戰(zhàn)環(huán)節(jié)中，容量規(guī)劃是最重要也最具挑戰(zhàn)的環(huán)節(jié)之一。在如此龐大的分布式系統(tǒng)架構(gòu)下，該為每一個(gè)業(yè)務(wù)系統(tǒng)分配多少資源成為一大技術(shù)挑戰(zhàn)。

其實(shí)，容量規(guī)劃就好比是一個(gè)天平。天平的一端是成本，我們需要盡可能地用較少的資源來(lái)支撐好我們的業(yè)務(wù)；另一端是穩(wěn)定性，在成本盡可能低的情況下，各個(gè)系統(tǒng)都能跑在一個(gè)合適的水位，既保障業(yè)務(wù)的正常運(yùn)轉(zhuǎn)，又不出現(xiàn)局部的資源浪費(fèi)。

容量規(guī)劃演進(jìn)路線(xiàn)

圍繞“容量規(guī)劃的精準(zhǔn)度與確定性”、“容量規(guī)劃相關(guān)環(huán)節(jié)的效率和成本”這兩個(gè)最核心的驅(qū)動(dòng)力因子，容量規(guī)劃主要經(jīng)歷了五次大的演進(jìn)：

一、人工估算容量階段

這個(gè)時(shí)期，雙11對(duì)于系統(tǒng)的資源需求尚處于人工估算階段。比如2009年的容量規(guī)劃就是主要通過(guò)人工估算的方式來(lái)完成的。各個(gè)系統(tǒng)的負(fù)責(zé)同學(xué)聚在一起開(kāi)個(gè)會(huì)，將信息匯總到excel表格上，花上半天或者一天的時(shí)間就把容量規(guī)劃的機(jī)器預(yù)算給定下來(lái)了。而且，各個(gè)系統(tǒng)通常都留了比較大的機(jī)器冗余，業(yè)務(wù)的流量也不大，即使估算得不準(zhǔn)也不會(huì)造成大的業(yè)務(wù)影響。

二、線(xiàn)下性能壓測(cè)評(píng)估容量階段

2009年的雙11，雖然業(yè)務(wù)量級(jí)還不夠近年雙11峰值的零頭，但是業(yè)務(wù)量的暴漲卻直接給我們的系統(tǒng)來(lái)了一輪非常大的沖擊。

因此，在2010年，我們開(kāi)始著手開(kāi)發(fā)一套系統(tǒng)化的容量規(guī)劃平臺(tái)，這個(gè)時(shí)候，容量計(jì)算的公式也被第一次提了出來(lái)。在這個(gè)公式里有兩個(gè)至關(guān)重要的變量：預(yù)估業(yè)務(wù)量級(jí)與單機(jī)能力，預(yù)估業(yè)務(wù)量級(jí)代表對(duì)系統(tǒng)調(diào)用量的估算，而單機(jī)能力則代表單臺(tái)機(jī)器最大的服務(wù)能力。

容量規(guī)劃公式

其實(shí)，容量規(guī)劃公式理解起來(lái)并不復(fù)雜，預(yù)估業(yè)務(wù)量級(jí)除以單臺(tái)機(jī)器的服務(wù)能力得到業(yè)務(wù)系統(tǒng)所需要的最小機(jī)器數(shù)，最小機(jī)器數(shù)作為理論的機(jī)器數(shù)下限，加上一個(gè)buffer值確保萬(wàn)無(wú)一失，得出最終需要準(zhǔn)備的機(jī)器數(shù)。

預(yù)估業(yè)務(wù)量級(jí)為雙11等業(yè)務(wù)場(chǎng)景下的業(yè)務(wù)系統(tǒng)調(diào)用量的一個(gè)預(yù)計(jì)值，比如雙11 0點(diǎn)同時(shí)會(huì)有多少人訪(fǎng)問(wèn)商品詳情、有多少人訪(fǎng)問(wèn)我的購(gòu)物車(chē)、有多少人下單、有多少人付款等等，預(yù)估業(yè)務(wù)量級(jí)我們通過(guò)ＢＩ（商業(yè)智能）的分析，結(jié)合相應(yīng)的預(yù)測(cè)算法就能夠拿到比較準(zhǔn)確的值。

單臺(tái)機(jī)器的服務(wù)能力相對(duì)就沒(méi)那么好拿到，在2010年容量規(guī)劃平臺(tái)的1.0版本當(dāng)中，單機(jī)能力的獲取主要通過(guò)線(xiàn)下的性能測(cè)試來(lái)獲取。我們當(dāng)時(shí)已經(jīng)擁有非常成熟的線(xiàn)下的性能測(cè)試環(huán)境，于是在性能測(cè)試環(huán)境對(duì)各個(gè)業(yè)務(wù)系統(tǒng)逐個(gè)進(jìn)行性能測(cè)試，獲得了每個(gè)業(yè)務(wù)系統(tǒng)的單機(jī)能力值。

解決了兩個(gè)關(guān)鍵變量的之后，Csp容量規(guī)劃平臺(tái)正式登上阿里的技術(shù)舞臺(tái)，在2010年我們完成了從人工容量規(guī)劃到系統(tǒng)化容量規(guī)劃的過(guò)度。

三、線(xiàn)上壓測(cè)評(píng)估容量階段

Csp容量規(guī)劃平臺(tái)上線(xiàn)之后，在當(dāng)年的雙11當(dāng)中立刻起到立竿見(jiàn)影的效果，相對(duì)于之前純?nèi)巳獾娜萘恳?guī)劃模式，不但節(jié)省了人力成本，更重要的是通過(guò)數(shù)據(jù)計(jì)算的方式取代了傳統(tǒng)的經(jīng)驗(yàn)預(yù)估方式，大幅提升了我們?cè)谌萘恳?guī)劃的準(zhǔn)確性。

為了獲取到更加精準(zhǔn)的單臺(tái)機(jī)器服務(wù)能力值，在線(xiàn)上壓力測(cè)試的模式上，我們進(jìn)行了非常多的探索，積累了不少經(jīng)驗(yàn)，這些經(jīng)驗(yàn)后續(xù)為業(yè)界的容量規(guī)劃之路樹(shù)立了典范：

a．線(xiàn)上模擬壓力測(cè)試獲取單機(jī)能力

線(xiàn)上模擬壓力測(cè)試對(duì)線(xiàn)上應(yīng)用系統(tǒng)發(fā)起模擬調(diào)用。模擬請(qǐng)求保障了環(huán)境的真實(shí)性，能夠很大程度提升單機(jī)能力的準(zhǔn)確性。線(xiàn)上模擬壓力測(cè)試操作起來(lái)比較便捷，能夠借助的工具也非常多。

b. 線(xiàn)上流量復(fù)制壓力測(cè)試獲取單機(jī)能力

線(xiàn)上模擬壓力測(cè)試解決了壓測(cè)環(huán)境的真實(shí)性問(wèn)題，卻沒(méi)有完全解決流量真實(shí)的問(wèn)題，如果能做到流量和環(huán)境都是真實(shí)的，通過(guò)線(xiàn)上壓力測(cè)試拿到的單機(jī)能力才更具備說(shuō)服力。線(xiàn)上流量復(fù)制通過(guò)將線(xiàn)上某一臺(tái)機(jī)器的流量擴(kuò)大N倍復(fù)制到壓測(cè)的目標(biāo)機(jī)器，當(dāng)線(xiàn)上機(jī)器的流量非常低的時(shí)候，復(fù)制N倍流量還能夠有效地將流量進(jìn)行放大。

c. 線(xiàn)上引流壓力測(cè)試獲取單機(jī)能力

針對(duì)流量復(fù)制帶來(lái)復(fù)雜性和成本問(wèn)題，我們繼續(xù)去探索一種既精準(zhǔn)又方便快捷的線(xiàn)上壓測(cè)模式。阿里的業(yè)務(wù)系統(tǒng)都是分布式架構(gòu)，一個(gè)業(yè)務(wù)系統(tǒng)由若干機(jī)器同時(shí)提供服務(wù)，如果能夠把分布式環(huán)境的流量比較集中地調(diào)用到某一臺(tái)機(jī)器，就能起到壓測(cè)一臺(tái)機(jī)器的目的！于是線(xiàn)上引流壓力測(cè)試的模式被用到生產(chǎn)環(huán)境。

線(xiàn)上引流壓力測(cè)試使得阿里集團(tuán)大部分業(yè)務(wù)系統(tǒng)能夠獲取到非常精準(zhǔn)的線(xiàn)上單機(jī)能力，是目前使用的最廣泛的一種線(xiàn)上單機(jī)壓測(cè)模式。

四、全鏈路壓測(cè)階段

容量規(guī)劃平臺(tái)從單個(gè)點(diǎn)的維度解決了容量規(guī)劃的問(wèn)題，然而在進(jìn)行單點(diǎn)容量規(guī)劃的時(shí)候，有一個(gè)前提條件：下游依賴(lài)的服務(wù)狀態(tài)是非常好的，實(shí)際情況并非如此。

此外隨著分布式系統(tǒng)架構(gòu)的技術(shù)組建越來(lái)越多，也很難將所有的技術(shù)環(huán)節(jié)從前到后都做好單點(diǎn)容量規(guī)劃。

雙11 當(dāng)天0點(diǎn)到來(lái)的時(shí)候，從CDN到接入層、前端應(yīng)用、后端服務(wù)、緩存、存儲(chǔ)、中間件整個(gè)鏈路上都面臨著巨大流量，這個(gè)時(shí)候應(yīng)用的服務(wù)狀態(tài)除了受自身影響，還會(huì)受到依賴(lài)環(huán)境影響，并且影響面會(huì)繼續(xù)傳遞到上游，哪怕一個(gè)環(huán)節(jié)出現(xiàn)一點(diǎn)誤差，誤差在上下游經(jīng)過(guò)幾層累積后會(huì)造成什么影響誰(shuí)都無(wú)法確定。

所以除了進(jìn)行事先的容量規(guī)劃，我們還需要建立起一套驗(yàn)證機(jī)制，來(lái)驗(yàn)證我們各個(gè)環(huán)節(jié)的準(zhǔn)備都是符合預(yù)期的。驗(yàn)證的最佳方法就是讓事件提前發(fā)生，如果我們的系統(tǒng)能夠提前經(jīng)歷幾次“雙11”，容量的不確定性問(wèn)題也就解決了。

2013年，對(duì)雙11穩(wěn)定性來(lái)說(shuō)是一個(gè)大的里程碑，我們?cè)谏a(chǎn)環(huán)境采取模式雙11的方式來(lái)全方位驗(yàn)證容量的確定性。也就是說(shuō)，全鏈路壓測(cè)的誕生解決了容量的確定性問(wèn)題。2013年之后基于全鏈路壓測(cè)為核心，打造了一系列容量規(guī)劃相關(guān)的配套生態(tài)，提升能力的同時(shí)，降低整個(gè)環(huán)節(jié)的成本、提升效率。

事實(shí)上，提前對(duì)雙11進(jìn)行模擬聽(tīng)起來(lái)就不簡(jiǎn)單，畢竟雙11的規(guī)模和復(fù)雜性都是空前的，要將雙11提前模擬出來(lái)，難度可想而知，全鏈路壓測(cè)的誕生主要攻克了下面4個(gè)大的挑戰(zhàn)：

1、跟雙11相關(guān)的業(yè)務(wù)系統(tǒng)上百個(gè)，并且牽涉到整條鏈路上所有的基礎(chǔ)設(shè)施和中間件，確保在整個(gè)流程中壓測(cè)流量能夠通暢無(wú)阻。

2、壓測(cè)的數(shù)據(jù)怎么構(gòu)造（億萬(wàn)級(jí)的商品和用戶(hù)），數(shù)據(jù)模型與雙11盡可能貼近。

3、全鏈路壓測(cè)直接在線(xiàn)上的真實(shí)環(huán)境進(jìn)行雙11模擬，保障對(duì)線(xiàn)上的數(shù)據(jù)和業(yè)務(wù)沒(méi)有影響。

4、雙11是一個(gè)上億用戶(hù)參與的盛大活動(dòng)，制造每秒幾萬(wàn)次用戶(hù)行為的超大規(guī)模流量平臺(tái)。

每年雙11前夕，全鏈路壓測(cè)都要組織好幾次，不斷地通過(guò)壓測(cè)發(fā)現(xiàn)問(wèn)題進(jìn)行迭代優(yōu)化、全方位驗(yàn)證業(yè)務(wù)的穩(wěn)定性，我們的系統(tǒng)也只有在經(jīng)過(guò)了全鏈路壓測(cè)的驗(yàn)證之后才有信心迎接雙11 那天0點(diǎn)的到來(lái)。全鏈路壓測(cè)將是雙11、雙12等大促備戰(zhàn)最重要的核武器，并且隨著業(yè)務(wù)的發(fā)展不斷進(jìn)化，持續(xù)發(fā)揮著不可替代的作用。

五、“全鏈路壓測(cè)+隔離環(huán)境+彈性伸縮”的技術(shù)生態(tài)體系

全鏈路壓測(cè)經(jīng)過(guò)幾年的發(fā)展，從一開(kāi)始的單一壓測(cè)平臺(tái)，逐步演變成一套技術(shù)生態(tài)體系。

隔離環(huán)境、邊壓邊彈、功能預(yù)演、商家端全鏈路壓測(cè)等技術(shù)產(chǎn)品都開(kāi)始成為全鏈路壓測(cè)生態(tài)家族的重要成員，協(xié)力為保障好雙11的穩(wěn)定性發(fā)揮重要作用。

全鏈路壓測(cè)體系演進(jìn)

全鏈路壓測(cè)除了在能力上的不斷演進(jìn)外，壓測(cè)效率也在不斷的提升，智能化的技術(shù)能力逐步切入到壓測(cè)場(chǎng)景。

通過(guò)“root cause”自動(dòng)定位壓測(cè)中出現(xiàn)的問(wèn)題，在壓測(cè)過(guò)程中，進(jìn)行變壓邊彈，把容量配比調(diào)節(jié)至最優(yōu)，系統(tǒng)產(chǎn)出詳細(xì)的壓測(cè)報(bào)告，希望這一切都在沒(méi)有人的情況下自動(dòng)完成。

“尖兵計(jì)劃“項(xiàng)目正在朝著這個(gè)目標(biāo)不斷邁進(jìn)，并且已經(jīng)取得了階段性的進(jìn)展，在2017年和2018年全鏈路的首次壓測(cè)成功率大幅提升。之前可能要壓很多次才能壓測(cè)成功，通過(guò)“尖兵計(jì)劃”進(jìn)行無(wú)人的常態(tài)化隔離環(huán)境壓測(cè)，提前發(fā)現(xiàn)80%的表層問(wèn)題，大型壓測(cè)的阻斷率大幅下降。

除了在智能壓測(cè)上的突破，全鏈路壓測(cè)的身份也有了一個(gè)大的轉(zhuǎn)變。壓測(cè)平臺(tái)從一個(gè)阿里內(nèi)部的大促備戰(zhàn)利器，通過(guò)產(chǎn)品化升級(jí)，輸出到了阿里云PTS

成千上萬(wàn)的外部互聯(lián)網(wǎng)企業(yè)可以站在阿里的肩膀上，通過(guò)PTS完成一次精準(zhǔn)的容量壓測(cè)，輕松具備跟阿里一樣的容量規(guī)劃能力。在這背后全鏈路壓測(cè)也經(jīng)歷了一次大的技術(shù)演進(jìn)。

1、內(nèi)外一套：用一套核心壓測(cè)技術(shù)底座同時(shí)支撐了內(nèi)外部的兩套壓測(cè)體系，意味著大部分的工作都是可以復(fù)用的，極大降低了運(yùn)維成本。

2、壓測(cè)能力升級(jí)：除了具備每秒億級(jí)別的請(qǐng)求流量輸出，同時(shí)具備秒級(jí)的大流量和大數(shù)據(jù)調(diào)度能力，展現(xiàn)出讓業(yè)界驚嘆的壓測(cè)能力。

3、開(kāi)放：具備了更加開(kāi)放的擴(kuò)展性，在支撐了更大規(guī)模的外部用戶(hù)群體的同時(shí)也更好支撐了阿里愈加豐富的經(jīng)濟(jì)體業(yè)務(wù)形態(tài)；

4、開(kāi)源兼容：兼容主流開(kāi)源生態(tài)，讓已經(jīng)配置的壓測(cè)需求可以不做任何變化直接跑在壓測(cè)平臺(tái)上；

5、解決方案化：在整個(gè)壓測(cè)的技術(shù)上下游，打造了錄制器、數(shù)據(jù)工廠(chǎng)、指令集、診斷專(zhuān)家等技術(shù)模塊，從單一壓測(cè)平臺(tái)演變成為整個(gè)容量規(guī)劃的閉環(huán)解決方案。

未來(lái)，我們將全力為全球消費(fèi)者、商家、合作伙伴帶來(lái)完美的體驗(yàn)。十年牧碼，一騎絕塵！