銷售熱線:0351-2781950

聯(lián)系我們

聯(lián)系人:杜經(jīng)理

電話:0351-2781950

傳真:0351-6696802

手機:13753102618

郵箱:3287896118@qq.com

地址:山西省太原市晉源區(qū)姚村鎮(zhèn)307國道新萬水物貿(mào)城(天和順)物流園1區(qū)69號

公司動態(tài)

PHP如何解決網(wǎng)站的大數(shù)據(jù)大流量與高并發(fā)
發(fā)布時間:2020-03-16 瀏覽:
1:硬件方面

普通的一個p4的服務器每天最多能支持大約10萬左右的IP,如果訪問量超過10W那么需要專用的服務器才能解決,如果硬件不給力 軟件怎么優(yōu)化都是于事無補的。主要影響服務器的速度

有:網(wǎng)絡-硬盤讀寫速度-內(nèi)存大小-cpu處理速度。

2:軟件方面

第一個要說的就是數(shù)據(jù)庫,首先要有一個很好的架構(gòu),查詢盡量不用* 避免相關子查詢 給經(jīng)常查詢的添加索引 用排序來取代非順序存取,如果條件允許 ,一般MySQL服務器最好安裝

在Linux操作系統(tǒng)中 。關于apache和nginx在高并發(fā)的情況下推薦使用nginx,ginx是Apache服務器不錯的替代品。nginx內(nèi)存消耗少 官方測試能夠支撐5萬并發(fā)連接,在實際生產(chǎn)環(huán)境中跑

到2~3萬并發(fā)連接數(shù)。php方面不需要的模塊盡量關閉,使用memcached,Memcached 是一個高性能的分布式內(nèi)存對象緩存系統(tǒng),不使用數(shù)據(jù)庫直接從內(nèi)存當中調(diào)數(shù)據(jù),這樣大大提升了速

度,iiS或Apache啟用GZIP壓縮優(yōu)化網(wǎng)站,壓縮網(wǎng)站內(nèi)容大大節(jié)省網(wǎng)站流量。

第二,禁止外部的盜鏈。

外部網(wǎng)站的圖片或者文件盜鏈往往會帶來大量的負載壓力,因此應該嚴格限制外部對于自身的圖片或者文件盜鏈,好在目前可以簡單地通過refer來控制盜鏈,Apache自己就可以通過配置來禁止盜鏈,IIS也有一些第三方的ISAPI可以實現(xiàn)同樣的功能。當然,偽造refer也可以通過代碼來實現(xiàn)盜鏈,不過目前蓄意偽造refer盜鏈的還不多,可以先不去考慮,或者使用非技術手段來解決,比如在圖片上增加水印。

第三,控制大文件的下載。

大文件的下載會占用很大的流量,并且對于非SCSI硬盤來說,大量文件下載會消耗CPU,使得網(wǎng)站響應能力下降。因此,盡量不要提供超過2M的大文件下載,如果需要提供,建議將大文件放在另外一臺服務器上。

第四,使用不同主機分流主要流量

將文件放在不同的主機上,提供不同的鏡像供用戶下載。比如如果覺得RSS文件占用流量大,那么使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上,這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上,RSS就不占用太多資源了

第五,使用不同主機分流主要流量將文件放在不同的主機上,提供不同的鏡像供用戶下載。比如如果覺得RSS文件占用流量大,那么使用FeedBurner或者FeedSky等服務將RSS輸出放在其他主機上,這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上,RSS就不占用太多資源了。

第六,使用流量分析統(tǒng)計軟件。在網(wǎng)站上安裝一個流量分析統(tǒng)計軟件,可以即時知道哪些地方耗費了大量流量,哪些頁面需要再進行優(yōu)化,因此,解決流量問題還需要進行精確的統(tǒng)計分析才可以。比如:Google Analytics(Google分析)。

高并發(fā)和高負載的約束條件:硬件、部署、操作系統(tǒng)、Web 服務器、PHP、MySQL、測試

部署:服務器分離、數(shù)據(jù)庫集群和庫表散列、鏡像、負載均衡

負載均衡分類: 1)、DNS輪循 2)代理服務器負載均衡 3)地址轉(zhuǎn)換網(wǎng)關負載均衡 4)NAT負載均衡 5)反向代理負載均衡 6)混合型負載均衡

部署方案1:

適用范圍:靜態(tài)內(nèi)容為主體的網(wǎng)站和應用系統(tǒng);對系統(tǒng)安全要求較高的網(wǎng)站和應用系統(tǒng)。

Main Server:主服務器

承載程序的主體運行壓力,處理網(wǎng)站或應用系統(tǒng)中的動態(tài)請求;

將靜態(tài)頁面推送至多個發(fā)布服務器;

將附件文件推送至文件服務器;

安全要求較高,以靜態(tài)為主的網(wǎng)站,可將服務器置于內(nèi)網(wǎng)屏蔽外網(wǎng)的訪問。

DB Server:數(shù)據(jù)庫服務器

承載數(shù)據(jù)庫讀寫壓力;

只與主服務器進行數(shù)據(jù)量交換,屏蔽外網(wǎng)訪問。

File/Video Server:文件/視頻服務器

承載系統(tǒng)中占用系統(tǒng)資源和帶寬資源較大的數(shù)據(jù)流;

作為大附件的存儲和讀寫倉庫;

作為視頻服務器將具備視頻自動處理能力。

發(fā)布服務器組:

只負責靜態(tài)頁面的發(fā)布,承載絕大多數(shù)的Web請求;

通過Nginx進行負載均衡部署。

部署方案2:

適用范圍:以動態(tài)交互內(nèi)容為主體的網(wǎng)站或應用系統(tǒng);負載壓力較大,且預算比較充足的網(wǎng)站或應用系統(tǒng);

Web服務器組:

Web服務無主從關系,屬平行冗余設計;

通過前端負載均衡設備或Nginx反向代理實現(xiàn)負載均衡;

劃分專用文件服務器/視頻服務器有效分離輕/重總線;

每臺Web服務器可通過DEC可實現(xiàn)連接所有數(shù)據(jù)庫,同時劃分主從。

數(shù)據(jù)庫服務器組:

相對均衡的承載數(shù)據(jù)庫讀寫壓力;

通過數(shù)據(jù)庫物理文件的映射實現(xiàn)多數(shù)據(jù)庫的數(shù)據(jù)同步。

共享磁盤/磁盤陣列

將用于數(shù)據(jù)物理文件的統(tǒng)一讀寫

用于大型附件的存儲倉庫

通過自身物理磁盤的均衡和冗余,確保整體系統(tǒng)的IO效率和數(shù)據(jù)安全;

方案特性:

通過前端負載均衡,合理分配Web壓力;

通過文件/視頻服務器與常規(guī)Web服務器的分離,合理分配輕重數(shù)據(jù)流;

通過數(shù)據(jù)庫服務器組,合理分配數(shù)據(jù)庫IO壓力;

每臺Web服務器通常只連接一臺數(shù)據(jù)庫服務器,通過DEC的心跳檢測,可在極短時間內(nèi)自動切換至冗余數(shù)據(jù)庫服務器;

磁盤陣列的引入,大幅提升系統(tǒng)IO效率的同時,極大增強了數(shù)據(jù)安全性。

Web服務器:

Web服務器很大一部分資源占用來自于處理Web請求,通常情況下這也就是Apache產(chǎn)生的壓力,在高并發(fā)連接的情況下,Nginx是Apache服務器不錯的替代品。Nginx (“engine x”) 是俄羅斯人編寫的一款高性能的 HTTP 和反向代理服務器。在國內(nèi),已經(jīng)有新浪、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、YUPOO相冊、豆瓣、迅雷看看等多家網(wǎng)站、 頻道使用 Nginx 服務器。

Nginx的優(yōu)勢:

高并發(fā)連接:官方測試能夠支撐5萬并發(fā)連接,在實際生產(chǎn)環(huán)境中跑到2~3萬并發(fā)連接數(shù)。

內(nèi)存消耗少:在3萬并發(fā)連接下,開啟的10個Nginx 進程才消耗150M內(nèi)存(15M*10=150M)。

內(nèi)置的健康檢查功能:如果 Nginx Proxy 后端的某臺 Web 服務器宕機了,不會影響前端訪問。

策略:相對于老牌的Apache,我們選擇Lighttpd和Nginx這些具有更小的資源占用率和更高的負載能力的web服務器。

Mysql:

MySQL本身具備了很強的負載能力,MySQL優(yōu)化是一項很復雜的工作,因為這最終需要對系統(tǒng)優(yōu)化的很好理解。大家都知道數(shù)據(jù)庫工作就是大量的、 短時的查詢和讀寫,除了程序開發(fā)時需要注意創(chuàng)建索引、提高查詢效率等軟件開發(fā)技巧之外,從硬件設施的角度影響MySQL執(zhí)行效率最主要來自于磁盤搜索、磁盤IO水平、CPU周期、內(nèi)存帶寬。

  根據(jù)服務器上的硬件和軟件條件進行MySQl優(yōu)化。MySQL優(yōu)化的核心在于系統(tǒng)資源的分配,這不等于無限制的給MySQL分配更多的資源。在MySQL配置文件中我們介紹幾個最值得關注的參數(shù):

改變索引緩沖區(qū)長度(key_buffer)

改變表長(read_buffer_size)

設定打開表的數(shù)目的最大值(table_cache)

對緩長查詢設定一個時間限制(long_query_time)

如果條件允許 ,一般MySQL服務器最好安裝在Linux操作系統(tǒng)中,而不是安裝在FreeBSD中。策略: MySQL優(yōu)化需要根據(jù)業(yè)務系統(tǒng)的數(shù)據(jù)庫讀寫特性和服務器硬件配置,制定不同的優(yōu)化方案,并且可以根據(jù)需要部署MySQL的主從結(jié)構(gòu)。

PHP:

1、加載盡可能少的模塊;

2、如果是在windows平臺下,盡可能使用IIS或者Nginx來替代我們平常用的Apache;

3、安裝加速器(都是通過緩存php代碼預編譯的結(jié)果和數(shù)據(jù)庫結(jié)果來提高php代碼的執(zhí)行速度)eAccelerator,eAccelerator是一個自由開放源碼php加速器,優(yōu)化和動態(tài)內(nèi)容緩存,提高了性能php腳本的緩存性能,使得PHP腳本在編譯的狀態(tài)下,對服務器的開銷幾乎完全消除。

Apc:Alternative PHP Cache(APC)是 PHP 的一個免費公開的優(yōu)化代碼緩存。它用來提供免費,公開并且強健的架構(gòu)來緩存和優(yōu)化 PHP 的中間代碼。

memcache:memcache是由Danga Interactive開發(fā)的,高性能的,分布式的內(nèi)存對象緩存系統(tǒng),用于在動態(tài)應用中減少數(shù)據(jù)庫負載,提升訪問速度。主要機制是通過在內(nèi)存里維護一個統(tǒng) 一的巨大的hash表,Memcache能夠用來存儲各種格式的數(shù)據(jù),包括圖像、視頻、文件以及數(shù)據(jù)庫檢索的結(jié)果等

Xcache:國人開發(fā)的緩存器,

策略: 為PHP安裝加速器。

代理服務器(緩存服務器):

Squid Cache(簡稱為Squid)是一個流行的自由軟件(GNU通用公共許可證)的代理服務器和Web緩存服務器。Squid有廣泛的用途,從作為網(wǎng)頁服務器的前置cache服務器緩存相關請求來提高Web服務器的速度,到為一組人共享網(wǎng)絡資源而緩存萬維網(wǎng),域名系統(tǒng)和其他網(wǎng)絡搜索,到通過過濾流量幫助網(wǎng)絡安全,到局域網(wǎng)通過代理網(wǎng)。Squid主要設計用于在Unix一類系統(tǒng)運行。

策略:安裝Squid 反向代理服務器,能夠大幅度提高服務器效率。

壓力測試:壓力測試是一種基本的質(zhì)量保證行為,它是每個重要軟件測試工作的一部分。壓力測試的基本思路很簡單:不是在常規(guī)條件下運行手動或自動測試,而是在計算機數(shù)量較少或系統(tǒng)資源匱乏的條件下運行測試。通常要進行壓力測試的資源包括內(nèi)部內(nèi)存、CPU 可用性、磁盤空間和網(wǎng)絡帶寬等。一般用并發(fā)來做壓力測試。壓力測試工具:webbench,ApacheBench等

漏洞測試:在我們的系統(tǒng)中漏洞主要包括:sql注入漏洞,xss跨站腳本攻擊等。安全方面還包括系統(tǒng)軟件,如操作系統(tǒng)漏洞,mysql、apache等的漏洞,一般可以通過升級來解決。

漏洞測試工具:Acunetix Web Vulnerability Scanner

  • 相關標簽:php解決大數(shù)據(jù),php解決高并發(fā)
    • 上一篇:關于php高并發(fā)解決的一點思路
    • 下一篇:php高并發(fā)大流量站點nginx優(yōu)化

    太原市晉源區(qū)金陽光物資供應站

    電話:0351-2781950  手機:13753102618  地址:山西省太原市晉源區(qū)姚村鎮(zhèn)307國道新萬水物貿(mào)城(天和順)物流園1區(qū)69號

    太原網(wǎng)站建設提供技術支持 晉ICP備16002948號