2千萬數(shù)據(jù)下帝國CMS超強生成速度

時間：2009-12-16 11:28:33

數(shù)據(jù)庫總大小：17.3GB、總記錄數(shù)：4千萬零450條、信息數(shù)量：2千萬條、單表最大信息數(shù)：400萬條

一、前言：
帝國CMS 6.0版本最重要的升級功能是對系統(tǒng)構(gòu)架進行升級，構(gòu)架更加完美、負載容量更大。然而很多人就問，這個全新的構(gòu)架有多大的魅力、容量是多少？其實我也不能準確的告訴你，因為6.0剛發(fā)布不久并且沒有空閑時間測試，那時我只能告訴你“總體容量可無限放大，單表存放容量是原來的幾十倍、甚至更多，副表數(shù)據(jù)量達到一定大小后可設(shè)置分表，副表支持無限分表，因而副表容量是無限的”。然而理論是需要實踐去驗證的，所以趁著這兩天比較空閑試著測試，并且測試結(jié)果令我非常吃驚，
在2000萬數(shù)據(jù)中最大的news單表中從50萬導到400萬數(shù)據(jù)無論從生成內(nèi)容頁效率還受理信息列表竟然沒有多大差別：
單表無論是50萬還是400萬生成5000個內(nèi)容頁速度為：19秒
單表無論是50萬還是400萬后臺管理信息列表速度為：0.009秒

二、測試環(huán)境
1、硬件配置：使用本人工作使用的機器測試，普通的配置

CPU：2.0 GHz
內(nèi)存：1GB

2、軟件環(huán)境：使用無任何優(yōu)化的帝國CMS6.0一鍵安裝包

WINDOWS 2003
APACHE 2.2.4
PHP 5.2.0
MYSQL 5.0.27
ZEND Optimizer 3.2.6
帝國CMS6.0開源版(GBK)
(注：因為只是測試所以采用效率比較一般的WINDOWS平臺，最好的PHP+MYSQL運行環(huán)境建議采用LINUX或UNIX平臺。)

三、以2000萬數(shù)據(jù)中最大的news表數(shù)據(jù)量為400萬、數(shù)據(jù)表大小為3.4GB為例：
400萬單表情況下生成5000條數(shù)據(jù)：19秒
1、后臺點管理信息列表速度：0.008秒

2、修改信息頁讀取數(shù)據(jù)：0.005秒

3、400萬單表情況下生成5000條數(shù)據(jù)：19秒
開始生成：

生成過程截圖：

5000條生成時間：19秒

查看成后的欄目目錄HTML：

4、測試在使用內(nèi)容動態(tài)頁的數(shù)據(jù)讀取速度：0.0025秒

四、由于章節(jié)比較多，所以不能在貼子中說明，點擊下面鏈接查看完整的測試過程
《2千萬數(shù)據(jù)、17.3GB數(shù)據(jù)庫用帝國CMS6.0分表合理存放》分成數(shù)個篇章對帝國CMS大數(shù)據(jù)量如何合理存放的進行介紹，整個測試過程都是邊運行邊截圖，采用透明、公開的方式供大家監(jiān)督！如果有誰對測評過程和測評結(jié)果有疑問，可以自行參照我們的測試過程搭建類似的測試環(huán)境自己測試和對比測試結(jié)果。
點擊這里查看完整的測試過程：/ecms6/jm/20000000/20000000.html

五、本次2000萬數(shù)據(jù)最終測試數(shù)據(jù)統(tǒng)計：

本次測試經(jīng)驗總結(jié)：
優(yōu)點：6.0在大數(shù)據(jù)下的優(yōu)勢非常明顯，生成內(nèi)容頁、動態(tài)內(nèi)容頁效率非常之快且不受數(shù)據(jù)量影響，解決了CMS負載最大的問題，并且使用按表管理信息列表速度很快，單表幾十萬和幾百萬數(shù)據(jù)沒有明顯區(qū)別。
不足之處：在于單欄目數(shù)據(jù)量大于200萬時標簽調(diào)用、欄目列表速度有所下降(指的是增加檢索條件的情況)，主要由于最耗資源的置頂排序與多重排序，下版會考慮刪除置頂功能與優(yōu)化列表，并且會增加大數(shù)據(jù)量標簽調(diào)用優(yōu)化處理功能，以達到所有頁面速度在大數(shù)據(jù)量都很優(yōu)秀，不僅是內(nèi)容頁效率優(yōu)秀。

本次測試2000萬只是本人空閑時搞的小測試，主要讓大家知道帝國分表如何處理更好，只要分表均勻可以將一個很大的數(shù)據(jù)分解成無數(shù)個相同效率的表，單表無論是50萬、400萬甚至1000萬數(shù)據(jù)在管理信息列表與生成頁面效率基本是相同的，例如：5000萬數(shù)據(jù)中12個欄目可以分成每表存放450萬，每個450萬數(shù)據(jù)表效率都是一樣的。未來版本帝國將會推出更完美的構(gòu)架，主表可以像副表一樣無限分表，讓系統(tǒng)性能再度翻倍提升。做一個完美的安全、穩(wěn)定高效、強大、靈活的CMS是我們的終極目標，多年來我們一直朝這個方向邁進，不斷創(chuàng)新不斷完善。帝國軟件以為中國網(wǎng)站提供最完善的建站解決方案為已任，打造國內(nèi)最好的CMS程序。

帝國CMS對大數(shù)據(jù)情況建議：
數(shù)據(jù)表結(jié)構(gòu)最好的優(yōu)化是將所有的自定義字段都存放到副表；主表只存放標題字段；
總體的數(shù)據(jù)表數(shù)據(jù)分配均勻，主表下的每個副表存放建議100萬數(shù)據(jù)以內(nèi)；
內(nèi)容頁減少標簽調(diào)用或采用JS調(diào)用或者采用.shtml包含最新內(nèi)容頁面的方式；
欄目列表設(shè)置最大顯示數(shù)量；
過期信息或不再調(diào)用的信息進行歸檔；
減少使用搜索，搜索是最耗資源的功能；
自行修改文件去除標簽和列表的置頂排序(置頂功能下版會默認刪除)，對性能更高要求的可只采用id排序；
優(yōu)化運行環(huán)境，特別是MYSQL數(shù)據(jù)庫優(yōu)化；
服務器配置最好2GB以上內(nèi)存、采用更快的CPU以及硬盤轉(zhuǎn)速緩存更高IO更快。

未來帝國CMS版本對大數(shù)據(jù)方面功能展望：
標簽調(diào)用與列表性能優(yōu)化，刪除置頂功能并且對標簽調(diào)用優(yōu)化處理；主表結(jié)構(gòu)更加優(yōu)化。
推出更完美的構(gòu)架，主表可以像副表一樣無限分表，讓系統(tǒng)無論從維護數(shù)據(jù)還是生成頁面性能將再度翻倍提升。
多服務器結(jié)構(gòu)支持，實現(xiàn)負載均衡。
增加Oracle、postgresql、Mssql等多種數(shù)據(jù)庫支持。
......更多功能我們正在不斷的探索與創(chuàng)新，相信會給大家更多的驚喜。

附：帝國CMS6.0系統(tǒng)數(shù)據(jù)構(gòu)架圖

^{<s id="l6ew1"></s>}