魚乾的筆記本: 2013

星期六, 12月 21, 2013

Loading Scripts Without Blocking

最近同事發現有隻script會block其他request
查了一下原來script還真有這問題
在「Even Fast Web Sites」有提到

SCRIPT tags have a negative impact on page performance because of their blocking
behavior. While scripts are being downloaded and executed, most browsers won’t
download anything else. There are times when it’s necessary to have this blocking, but
it’s important to identify situations when JavaScript can be loaded independent of the
rest of the page.

可以實際試一下
http://stevesouders.com/cuzillion/?ex=10008&title=Scripts+Block+Downloads

作者的說明是...

This page has two scripts at the top, A.js and B.js, followed by an image, a stylesheet, and an iframe. The scripts are each programmed to take one second to download and one second to execute. The white gaps in the HTTP profile indicate where the scripts are executed. This shows that while scripts are being downloaded and executed, all other downloads are blocked. Only after the scripts have finished are the image, stylesheet, and iframe merrily downloaded in parallel.

中文就是指...
可以看出兩個script會等待，且會block其他requests下載
兩段的空白是script執行時間，完成後才會進行下一步
二個scripts都好了，才會再同時download其他resources

解決方法
作者有提出幾種方法，不過似乎都不能一次解決
書是2009年出的，想說有沒有新的解決方法，google看到了這段

reference: What is a non-blocking script?

create a script node dynamically and

var scriptElem = document.createElement('script');|
scriptElem.src = 'http://anydomain.com/A.js';
document.getElementsByTagName('head')[0].appendChild(scriptElem);

use the HTML5 async attribute of a <script> tag.

# 我是註解
<script type="text/javascript" async src="foo.js"> </script>

作者有提到要注意script是否有前後執行的順序
特別是處理UI的javascript(UI沒反應or掛了)
因為以上的方法只要下載完就會執行，不管在html裡的順序
ie可設定defer屬性使script同時下載，並依序執行

「Even Fast Web Sites」的作者有建議
後讀的ui相關script要能先呈現loading圖示，避免user使用(lazy-loaded code)
或者可做stub function，先回應空的，等載完後再覆寫

星期四, 11月 28, 2013

db 的index有這麼多搞頭

最近系統流量大，在db遇到些瓶頸
經過dba分析，對index也有比較深入的瞭解

index不只index
以前說設index，就只知道較常查詢的欄位拿來設為index就好了
經dba細心分析，才知道除了設定外，連多個欄位組合的index前後的順序也有差
較常查詢的欄位要放前面
select除了設index外，還可以...
可以針對sql語句，帶出指定的select column，也可以指定where的column
insert, update也可以設定index
cluster index & noncluster index
看不懂這東西，經dba解釋
cluster index會將同table的其他欄位一起帶出
所以cluster index只會有一個
no lock
可以dirty read的select就加no lock(mssql)吧
避免waiting
db的原生函式會造成full table scan
本想說先在sql的where句做了一些轉型，這樣比較好過濾
但dba提出這造成full table scan，效能很差
改完後，這top sql(slow log)就不見了
用變數存GETDATE
條件式或異動欄位常用到GETDATE()，有隻SQL用到5次
DBA建議先存變數裡，這樣compile 1次,也只跑1次

還挺了滿多觀念的，一時還無法全吸收
再慢慢整理了

linux複製資料，並排除指定資料夾

要複製資料夾很容易，不過要排除某個資料夾就不知怎麼做了
最近需手動複製git資料夾，複製.git太多太久，所以想拿掉
查了一下只要這麼下就可以了

rsync -av --progress sourcDir tmp --exclude srouceDir/.git
說明：複製sourceDir 到tmp底下，要排除sourceDir/.git這資料夾

星期日, 10月 27, 2013

拿GUIDs當Primary Key

最近維護個專案，發現是拿GUID當做DB的Primary Key用，同事還說最近大家都這麼用...

一直想不到好處在哪，只好上網看看評論

主要還是建議用integer做pk

因為用integer做auto increment達到不重覆有額外的優點

連續，在排序上能做到partial scan，不會用到table scan讓搜尋效能較好

這點我是不瞭解，平常的專案可能沒什麼問題

不過最近幾個project是電子商務，常遇到效能的issue

發現有table scan的sql statment都會被吊起打

不過後來有問"專業"的DBA

他說pk都有index啦，誰管他連不連續... 這... Orz
guid的index資料較大
在搜尋上，也會因guid比integer大多了，要比對更大的資料(25MB vs 106MB)
讓別人看不出銷售情況
例如訂單編號如果很單純(天真?)的利用流水號給客戶使用
容易被人看出最近的銷售狀況

所以...
目前看的好處是分散式的DB好運作
也有同事提出如果常有table需合併時，就很適合guid
所以還是得評估自己需要的solution

以下截錄，推薦的三篇po文也滿精采的可以看一下
Ref: Identity Column as Primary Key

Yes, using a INT (or BIGINT) IDENTITY is very good practice for SQL Server.
SQL Server uses the primary key as its default clustering key, and the clustering key should always have these properties:

narrow

static

unique

ever-increasing

INT IDENTITY fits the bill perfectly!
For more background info, and especially some info why a GUID as your primary (and thus clustering key) is a bad idea, see Kimberly Tripp's excellent posts:

GUIDs as PRIMARY KEYs and/or the clustering key

The Clustered Index Debate Continues...

Ever-increasing clustering key - the Clustered Index Debate..........again!

If you have reasons to use a GUID as primary key (e.g. replication), then by all means make sure to have a INT IDENTITY as your clustering key on those tables!
Marc

星期六, 10月 26, 2013

轉：Memcached 集群架構方面的問題

Reference Memcached 集群架構方面的問題

集群架構方面的問題

　　o memcached是怎麼工作的?

　　o memcached最大的優勢是什麼?

　　o memcached和MySQL的query cache相比，有什麼優缺點?

　　o memcached和服務器的local cache(比如PHP的APC、mmap文件等)相比，有什麼優缺點?

　　o memcached的cache機制是怎樣的?

　　o memcached如何實現冗餘機制?

　　o memcached如何處理容錯的?

　　o 如何將memcached中item批量導入導出?

　　o 但是我確實需要把memcached中的item都dump出來，確實需要把數據load到memcached中，怎麼辦?

　　o memcached是如何做身份驗證的?

　　o 如何使用memcached的多線程是什麼?如何使用它們?

　　o memcached能接受的key的最大長度是多少?(250bytes)

　　o memcached對item的過期時間有什麼限制?(為什麼有30天的限制?)

　　o memcached最大能存儲多大的單個item?(1M byte)

　　o 為什麼單個item的大小被限制在1M byte之內?

　　o 為了讓memcached更有效地使用服務器的內存，可以在各個服務器上配置大小不等的緩存空間嗎?

　　o 什麼是binary協議?它值得關注嗎?

　　o memcached是如何分配內存的?為什麼不用malloc/free!?究竟為什麼使用slab呢?

　　o memcached能保證數據存儲的原子性嗎?

　　集群架構方面的問題

　　memcached是怎麼工作的?

　　Memcached的神奇來自兩階段哈希(two-stage hash)。Memcached就像一個巨大的、存儲了很多對的哈希表。通過key，可以存儲或查詢任意的數據。

　　客戶端可以把數據存儲在多台memcached上。當查詢數據時，客戶端首先參考節點列表計算出key的哈希值(階段一哈希)，進而選中一個節點;客戶端將請求發送給選中的節點，然後memcached節點通過一個內部的哈希算法(階段二哈希)，查找真正的數據(item)。

　　舉個列子，假設有3個客戶端1, 2, 3，3台memcached A, B, C：

　　Client 1想把數據”barbaz”以key “foo”存儲。Client 1首先參考節點列表(A, B, C)，計算key “foo”的哈希值，假設memcached B被選中。接著，Client 1直接connect到memcached B，通過key “foo”把數據”barbaz”存儲進去。Client 2使用與Client 1相同的客戶端庫(意味著階段一的哈希算法相同)，也擁有同樣的memcached列表(A, B, C)。

　　於是，經過相同的哈希計算(階段一)，Client 2計算出key “foo”在memcached B上，然後它直接請求memcached B，得到數據”barbaz”。

　　各種客戶端在memcached中數據的存儲形式是不同的(perl Storable, php serialize, java hibernate, JSON等)。一些客戶端實現的哈希算法也不一樣。但是，memcached服務器端的行為總是一致的。

　　最後，從實現的角度看，memcached是一個非阻塞的、基於事件的服務器程序。這種架構可以很好地解決C10K problem ，並具有極佳的可擴展性。

　　可以參考A Story of Caching ，這篇文章簡單解釋了客戶端與memcached是如何交互的。

　　memcached最大的優勢是什麼?

　　請仔細閱讀上面的問題(即memcached是如何工作的)。Memcached最大的好處就是它帶來了極佳的水平可擴展性，特別是在一個巨大的系統中。由於客戶端自己做了一次哈希，那麼我們很容易增加大量memcached到集群中。memcached之間沒有相互通信，因此不會增加memcached的負載;沒有多播協議，不會網絡通信量爆炸(implode)。memcached的集群很好用。內存不夠了?增加幾台memcached吧;CPU不夠用了?再增加幾台吧;有多餘的內存?在增加幾台吧，不要浪費了。

　　基於memcached的基本原則，可以相當輕鬆地構建出不同類型的緩存架構。除了這篇FAQ，在其他地方很容易找到詳細資料的。

　　看看下面的幾個問題吧，它們在memcached、服務器的local cache和MySQL的query cache之間做了比較。這幾個問題會讓您有更全面的認識。

　　memcached和MySQL的query cache相比，有什麼優缺點?

　　把memcached引入應用中，還是需要不少工作量的。MySQL有個使用方便的query cache，可以自動地緩存SQL查詢的結果，被緩存的SQL查詢可以被反复地快速執行。Memcached與之相比，怎麼樣呢?MySQL的query cache是集中式的，連接到該query cache的MySQL服務器都會受益。

　　* 當您修改表時，MySQL的query cache會立刻被刷新(flush)。存儲一個memcached item只需要很少的時間，但是當寫操作很頻繁時，MySQL的query cache會經常讓所有緩存數據都失效。

　　* 在多核CPU上，MySQL的query cache會遇到擴展問題(scalability issues)。在多核CPU上，query cache會增加一個全局鎖(global lock), 由於需要刷新更多的緩存數據，速度會變得更慢。

　　* 在MySQL的query cache中，我們是不能存儲任意的數據的(只能是SQL查詢結果)。而利用memcached，我們可以搭建出各種高效的緩存。比如，可以執行多個獨立的查詢，構建出一個用戶對象(user object)，然後將用戶對象緩存到memcached中。而query cache是SQL語句級別的，不可能做到這一點。在小的網站中，query cache會有所幫助，但隨著網站規模的增加，query cache的弊將大於利。

　　* query cache能夠利用的內存容量受到MySQL服務器空閒內存空間的限制。給數據庫服務器增加更多的內存來緩存數據，固然是很好的。但是，有了memcached，只要您有空閒的內存，都可以用來增加memcached集群的規模，然後您就可以緩存更多的數據。

　　memcached和服務器的local cache(比如PHP的APC、mmap文件等)相比，有什麼優缺點?

　　首先，local cache有許多與上面(query cache)相同的問題。local cache能夠利用的內存容量受到(單台)服務器空閒內存空間的限制。不過，local cache有一點比memcached和query cache都要好，那就是它不但可以存儲任意的數據，而且沒有網絡存取的延遲。

　　* local cache的數據查詢更快。考慮把highly common的數據放在local cache中吧。如果每個頁面都需要加載一些數量較少的數據，考慮把它們放在local cached吧。

　　* local cache缺少集體失效(group invalidation)的特性。在memcached集群中，刪除或更新一個key會讓所有的觀察者覺察到。但是在local cache中, 我們只能通知所有的服務器刷新cache(很慢，不具擴展性)，或者僅僅依賴緩存超時失效機制。

　　* local cache面臨著嚴重的內存限制，這一點上面已經提到。

　　memcached的cache機制是怎樣的?

　　Memcached 主要的cache機制是LRU(最近最少用)算法+超時失效。當您存數據到memcached中，可以指定該數據在緩存中可以呆多久Which is forever, or some time in the future。如果memcached的內存不夠用了，過期的slabs會優先被替換，接著就輪到最老的未被使用的slabs。

　　memcached如何實現冗餘機制?

　　不實現!我們對這個問題感到很驚訝。Memcached應該是應用的緩存層。它的設計本身就不帶有任何冗餘機制。如果一個memcached節點失去了所有數據，您應該可以從數據源(比如數據庫)再次獲取到數據。您應該特別注意，您的應用應該可以容忍節點的失效。不要寫一些糟糕的查詢代碼，寄希望於memcached來保證一切!如果您擔心節點失效會大大加重數據庫的負擔，那麼您可以採取一些辦法。比如您可以增加更多的節點(來減少丟失一個節點的影響)，熱備節點(在其他節點down了的時候接管IP)，等等。

　　memcached如何處理容錯的?

　　不處理!:) 在memcached節點失效的情況下，集群沒有必要做任何容錯處理。如果發生了節點失效，應對的措施完全取決於用戶。節點失效時，下面列出幾種方案供您選擇：

　　* 忽略它! 在失效節點被恢復或替換之前，還有很多其他節點可以應對節點失效帶來的影響。

　　* 把失效的節點從節點列表中移除。做這個操作千萬要小心!在默認情況下(餘數式哈希算法)，客戶端添加或移除節點，會導致所有的緩存數據不可用!因為哈希參照的節點列表變化了，大部分key會因為哈希值的改變而被映射到(與原來)不同的節點上。

　　* 啟動熱備節點，接管失效節點所佔用的IP。這樣可以防止哈希紊亂(hashing chaos)。

　　* 如果希望添加和移除節點，而不影響原先的哈希結果，可以使用一致性哈希算法(consistent hashing)。您可以百度一下一致性哈希算法。支持一致性哈希的客戶端已經很成熟，而且被廣泛使用。去嘗試一下吧!

　　* 兩次哈希(reshing)。當客戶端存取數據時，如果發現一個節點down了，就再做一次哈希(哈希算法與前一次不同)，重新選擇另一個節點(需要注意的時，客戶端並沒有把down的節點從節點列表中移除，下次還是有可能先哈希到它)。如果某個節點時好時壞，兩次哈希的方法就有風險了，好的節點和壞的節點上都可能存在臟數據(stale data)。

　　如何將memcached中item批量導入導出?

　　您不應該這樣做!Memcached是一個非阻塞的服務器。任何可能導致memcached暫停或瞬時拒絕服務的操作都應該值得深思熟慮。向memcached中批量導入數據往往不是您真正想要的!想像看，如果緩存數據在導出導入之間發生了變化，您就需要處理臟數據了;如果緩存數據在導出導入之間過期了，您又怎麼處理這些數據呢?

　　因此，批量導出導入數據並不像您想像中的那麼有用。不過在一個場景倒是很有用。如果您有大量的從不變化的數據，並且希望緩存很快熱(warm)起來，批量導入緩存數據是很有幫助的。雖然這個場景並不典型，但卻經常發生，因此我們會考慮在將來實現批量導出導入的功能。

　　Steven Grimm，一如既往地,，在郵件列表中給出了另一個很好的例子：http://lists.danga.com/pipermail/memcached/2007-July/004802.html 。

　　但是我確實需要把memcached中的item批量導出導入，怎麼辦??

　　好吧好吧。如果您需要批量導出導入，最可能的原因一般是重新生成緩存數據需要消耗很長的時間，或者數據庫壞了讓您飽受痛苦。

　　如果一個memcached節點down了讓您很痛苦，那麼您還會陷入其他很多麻煩。您的系統太脆弱了。您需要做一些優化工作。比如處理”驚群”問題(比如memcached節點都失效了，反复的查詢讓您的數據庫不堪重負…這個問題在FAQ的其他提到過)，或者優化不好的查詢。記住，Memcached 並不是您逃避優化查詢的藉口。

　　如果您的麻煩僅僅是重新生成緩存數據需要消耗很長時間(15秒到超過5分鐘)，您可以考慮重新使用數據庫。這裡給出一些提示：

　　* 使用MogileFS(或者CouchDB等類似的軟件)在存儲item。把item計算出來並dump到磁盤上。MogileFS可以很方便地覆寫item，並提供快速地訪問。.您甚至可以把MogileFS中的item緩存在memcached中，這樣可以加快讀取速度。MogileFS+Memcached的組合可以加快緩存不命中時的響應速度，提高網站的可用性。

　　* 重新使用MySQL。MySQL的InnoDB主鍵查詢的速度非常快。如果大部分緩存數據都可以放到VARCHAR字段中，那麼主鍵查詢的性能將更好。從memcached中按key查詢幾乎等價於MySQL的主鍵查詢：將key 哈希到64-bit的整數，然後將數據存儲到MySQL中。您可以把原始(不做哈希)的key存儲都普通的字段中，然後建立二級索引來加快查詢…key被動地失效，批量刪除失效的key，等等。

　　上面的方法都可以引入memcached，在重啟memcached的時候仍然提供很好的性能。由於您不需要當心”hot”的item被memcached LRU算法突然淘汰，用戶再也不用花幾分鐘來等待重新生成緩存數據(當緩存數據突然從內存中消失時)，因此上面的方法可以全面提高性能。

　　關於這些方法的細節，詳見博客：http://dormando.livejournal.com/495593.html 。

　　memcached是如何做身份驗證的?

　　沒有身份認證機制!memcached是運行在應用下層的軟件(身份驗證應該是應用上層的職責)。memcached的客戶端和服務器端之所以是輕量級的，部分原因就是完全沒有實現身份驗證機制。這樣，memcached可以很快地創建新連接，服務器端也無需任何配置。

　　如果您希望限制訪問，您可以使用防火牆，或者讓memcached監聽unix domain socket。

　　memcached的多線程是什麼?如何使用它們?

　　線程就是定律(threads rule)!在Steven Grimm和Facebook的努力下，memcached 1.2及更高版本擁有了多線程模式。多線程模式允許memcached能夠充分利用多個CPU，並在CPU之間共享所有的緩存數據。memcached使用一種簡單的鎖機制來保證數據更新操作的互斥。相比在同一個物理機器上運行多個memcached實例，這種方式能夠更有效地處理multi gets。

　　如果您的系統負載並不重，也許您不需要啟用多線程工作模式。如果您在運行一個擁有大規模硬件的、龐大的網站，您將會看到多線程的好處。

　　更多信息請參見：http://code.sixapart.com/svn/memcached/trunk/server/doc/threads.txt 。

　　簡單地總結一下：命令解析(memcached在這里花了大部分時間)可以運行在多線程模式下。memcached內部對數據的操作是基於很多全局鎖的(因此這部分工作不是多線程的)。未來對多線程模式的改進，將移除大量的全局鎖，提高memcached在負載極高的場景下的性能。

　　memcached能接受的key的最大長度是多少?

　　key 的最大長度是250個字符。需要注意的是，250是memcached服務器端內部的限制，如果您使用的客戶端支持”key的前綴”或類似特性，那麼key(前綴+原始key)的最大長度是可以超過250個字符的。我們推薦使用使用較短的key，因為可以節省內存和帶寬。

　　memcached對item的過期時間有什麼限制?

　　過期時間最大可以達到30天。memcached把傳入的過期時間(時間段)解釋成時間點後，一旦到了這個時間點，memcached就把item置為失效狀態。這是一個簡單但obscure的機制。

　　memcached最大能存儲多大的單個item?

　　1MB。如果你的數據大於1MB，可以考慮在客戶端壓縮或拆分到多個key中。

　　為什麼單個item的大小被限制在1M byte之內?

　　啊…這是一個大家經常問的問題!

　　簡單的回答：因為內存分配器的算法就是這樣的。

　　詳細的回答：Memcached的內存存儲引擎(引擎將來可插拔…),使用slabs來管理內存。內存被分成大小不等的slabs chunks(先分成大小相等的slabs，然後每個slab被分成大小相等chunks，不同slab的chunk大小是不相等的)。chunk的大小依次從一個最小數開始，按某個因子增長，直到達到最大的可能值。

　　如果最小值為400B，最大值是1MB，因子是1.20，各個slab的chunk的大小依次是：slab1 - 400B slab2 - 480B slab3 - 576B …

　　slab中chunk越大，它和前面的slab之間的間隙就越大。因此，最大值越大，內存利用率越低。Memcached必須為每個slab預先分配內存，因此如果設置了較小的因子和較大的最大值，會需要更多的內存。

　　還有其他原因使得您不要這樣向memcached中存取很大的數據…不要嘗試把巨大的網頁放到mencached中。把這樣大的數據結構load和unpack到內存中需要花費很長的時間，從而導致您的網站性能反而不好。

　　如果您確實需要存儲大於1MB的數據，你可以修改slabs.c:POWER_BLOCK的值，然後重新編譯memcached;或者使用低效的malloc/free。其他的建議包括數據庫、MogileFS等。

　　我可以在不同的memcached節點上使用大小不等的緩存空間嗎?這麼做之後，memcached能夠更有效地使用內存嗎?

　　Memcache 客戶端僅根據哈希算法來決定將某個key存儲在哪個節點上，而不考慮節點的內存大小。因此，您可以在不同的節點上使用大小不等的緩存。但是一般都是這樣做的：擁有較多內存的節點上可以運行多個memcached實例，每個實例使用的內存跟其他節點上的實例相同。

　　什麼是二進制協議，我該關注嗎?

　　關於二進制最好的信息當然是二進制協議規範：http://code.google.com/p/memcached/wiki/MemcacheBinaryProtocol 。

　　二進制協議嘗試為端提供一個更有效的、可靠的協議，減少客戶端/服務器端因處理協議而產生的CPU時間。

　　根據Facebook的測試，解析ASCII協議是memcached中消耗CPU時間最多的環節。所以，我們為什麼不改進ASCII協議呢?

　　在這個郵件列表的thread中可以找到一些舊的信息：http://lists.danga.com/pipermail/memcached/2007-July/004636.html 。

　　memcached的內存分配器是如何工作的?為什麼不適用malloc/free!?為何要使用slabs?

　　實際上，這是一個編譯時選項。默認會使用內部的slab分配器。您確實確實應該使用內建的slab分配器。最早的時候，memcached只使用malloc/free來管理內存。然而，這種方式不能與OS的內存管理以前很好地工作。反复地malloc/free造成了內存碎片，OS最終花費大量的時間去查找連續的內存塊來滿足malloc的請求，而不是運行memcached進程。如果您不同意，當然可以使用malloc!只是不要在郵件列表中抱怨啊:)

　　slab分配器就是為了解決這個問題而生的。內存被分配並劃分成chunks，一直被重複使用。因為內存被劃分成大小不等的slabs，如果item的大小與被選擇存放它的slab不是很合適的話，就會浪費一些內存。Steven Grimm正在這方面已經做出了有效的改進。

　　郵件列表中有一些關於slab的改進(power of n 還是power of 2)和權衡方案：http://lists.danga.com/pipermail/memcached/2006-May/002163.html http://lists.danga .com/pipermail/memcached/2007-March/003753.html 。

　　如果您想使用malloc/free，看看它們工作地怎麼樣，您可以在構建過程中定義USE_SYSTEM_MALLOC。這個特性沒有經過很好的測試，所以太不可能得到開發者的支持。

　　更多信息：http://code.sixapart.com/svn/memcached/trunk/server/doc/memory_management.txt 。

　　memcached是原子的嗎?

　　當然!好吧，讓我們來明確一下：

　　所有的被發送到memcached的單個命令是完全原子的。如果您針對同一份數據同時發送了一個set命令和一個get命令，它們不會影響對方。它們將被串行化、先後執行。即使在多線程模式，所有的命令都是原子的，除非程序有bug:)

　　命令序列不是原子的。如果您通過get命令獲取了一個item，修改了它，然後想把它set回memcached，我們不保證這個item沒有被其他進程(process，未必是操作系統中的進程)操作過。在並發的情況下，您也可能覆寫了一個被其他進程set的item。

　　memcached 1.2.5以及更高版本，提供了gets和cas命令，它們可以解決上面的問題。如果您使用gets命令查詢某個key的item，memcached會給您返回該item當前值的唯一標識。如果您覆寫了這個item並想把它寫回到memcached中，您可以通過cas命令把那個唯一標識一起發送給memcached。如果該item存放在memcached中的唯一標識與您提供的一致，您的寫操作將會成功。如果另一個進程在這期間也修改了這個item，那麼該item存放在memcached中的唯一標識將會改變，您的寫操作就會失敗。

　　通常，基於memcached中item的值來修改item，是一件棘手的事情。除非您很清楚自己在做什麼，否則。

　　Memcached的應用

　　作者：Lightning@小寶發佈時間：November 2, 2009 分類：互聯網系統架構

　　Memcached是高性能的，分佈式的內存對象緩存系統，用於在動態應用中減少數據庫負載，提升訪問速度。Memcached由Danga Interactive(運營LiveJournal的技術團隊)開發，用於提升LiveJournal.com訪問速度的。LJ每秒動態頁面訪問量是幾千次，用戶700萬。Memcached將數據負載大幅度降低，更好的分配資源，更快速訪問。

　　其實Memcache是這個項目的名稱，而memcached是它服務器端的主程序文件名

　　Memcached可以應對任意多個連接，使用非阻塞的網絡IO。由於它的工作機制是在內存中開闢一塊空間，然後建立一個HashTable，Memcached自管理這些HashTable.

　　雖然memcached使用了同樣的“Key=>Value”方式組織數據，但是它和共享內存、APC等本地緩存有非常大的區別。Memcached是分佈式的，也就是說它不是本地的。它基於網絡連接(當然它也可以使用localhost)方式完成服務，本身它是一個獨立於應用的程序或守護進程(Daemon方式)。

　　Memcached最吸引人的一個特性就是支持分佈式部署;也就是說可以在一群機器上建立一堆Memcached 服務，每個服務可以根據具體服務器的硬件配置使用不同大小的內存塊，這樣一來，理論上可以建立一個無限巨大的基於內存的cache storage 系統。

　　Memcached使用libevent庫實現網絡連接服務，理論上可以處理無限多的連接，但是它和Apache不同，它更多的時候是面向穩定的持續連接的，所以它實際的並發能力是有限制的。在保守情況下memcached的最大同時連接數為200，這和Linux線程能力有關係，這個數值是可以調整的。關於libevent可以參考相關文檔。Memcached內存使用方式也和APC不同。APC是基於共享內存和MMAP的，memcachd有自己的內存分配算法和管理方式，它和共享內存沒有關係，也沒有共享內存的限制，通常情況下，每個memcached進程可以管理2GB的內存空間，如果需要更多的空間，可以增加進程數。

　　Memcached在很多時候都是作為數據庫前端cache使用的。因為它比數據庫少了很多SQL解析、磁盤操作等開銷，而且它是使用內存來管理數據的，所以它可以提供比直接讀取數據庫更好的性能，在大型系統中，訪問同樣的數據是很頻繁的，memcached可以大大降低數據庫壓力，使系統執行效率提升。另外，memcached也經常作為服務器之間數據共享的存儲媒介，例如在SSO系統中保存系統單點登陸狀態的數據就可以保存在memcached中，被多個應用共享。

　　需要注意的是，使用Memcache的網站一般流量都是比較大的，為了緩解數據庫的壓力，讓Memcache作為一個緩存區域，把部分信息保存在內存中，在前端能夠迅速的進行存取。由於memcached使用內存管理數據，所以它是易失的，當服務器重啟，或者memcached進程中止，數據便會丟失，所以memcached不能用來持久保存數據。很多人的錯誤理解，memcached的性能非常好，好到了內存和硬盤的對比程度，其實memcached使用內存並不會得到成百上千的讀寫速度提高，它的實際瓶頸在於網絡連接，它和使用磁盤的數據庫系統相比，好處在於它本身非常“輕”，因為沒有過多的開銷和直接的讀寫方式，它可以輕鬆應付非常大的數據交換量，所以經常會出現兩條千兆網絡帶寬都滿負荷了，memcached進程本身並不佔用多少CPU資源的情況。

　　Memcached是“分佈式”的內存對象緩存系統，所以那些不需要“分佈”的，不需要共享的，或者乾脆規模小到只有一台服務器的應用，memcached不會帶來任何好處，相反還會拖慢系統效率，因為網絡連接同樣需要資源，即使是UNIX本地連接也一樣。

星期二, 10月 22, 2013

mock 寫法

Quick start

$stub = $this->getMockBuilder('modelAbc')
                       ->setMethods(array('findFirst'))
                       ->getMock();

$stub->expects($this->any())
         ->method('findFirst')
         ->will($this->returnValue(null));

靜態寫法 (PHPUnit 3.9後就不支援static寫法了)

$stub = $this->getMockClass(
            'modelAbc',
            array('findHistory')
        ) ;

$stub::staticExpects($this->any())
            ->method('findHistory')
            ->will($this->returnValue($result));

method執行次數

Example:

$stub->expects($this->once())
->method('doSomething');

$this->once(); 只會被執行一次
$this->exactly(3); //只能3次
$this->any(); //不管幾次

method 回傳值

回傳固定值
語法：$this->returnValue()
Example:

$stub->expects($this->any())
->method('doSomething')
->will($this->returnValue("Yes, sir!");

隨機回傳不同值
語法：

依參數給回傳不同值
語法：$this->returnValueMap(array(param1, ..., paramN, returnValue)
Example:

$stub->expects($this->any())
    ->method('doSomething')
    ->will(
        $this->returnValueMap(
            array(
            array('a', 'b', 'c', 'd'),
            array('e', 'f', 'g', 'h'))
        )
    )
);
$this->assertEquals('d', $stub->doSomething('a', 'b', 'c')); 
$this->assertEquals('h', $stub->doSomething('e', 'f', 'g'));

Issue

Phalcon\Mvc\Model\Exception: The method "__phpunit_getInvocationMocker" doesn't exist on model
- Solution
  一般因為有namespace，只要補上完整的namespace即可
```
$stub = $this->getMockBuilder('namespace_path\modelAbc');
```

Reference

PHPUnit Manual - Test Doubles

星期三, 10月 09, 2013

IndexController handler class cannot be loaded

Phalcon裡，只要為controller加上namespace，就會發生
"IndexController handler class cannot be loaded"

明明loader裡也有註冊namespace了，對應的路徑也沒錯...
找半天，實在是找不到問題點

幸好咱們勝揚哥有遇過，馬上就點破了~
「dispatcher那沒import，怎麼找的到這namespace下controller」
見：phalcon的mvc - single-namespace 以下截錄

//Registering a dispatcher
$di->set('dispatcher', function(){
 $dispatcher = new \Phalcon\Mvc\Dispatcher();
 $dispatcher->setDefaultNamespace('Single\Controllers\\');
return $dispatcher;
});

收工~

星期二, 10月 08, 2013

git commit前做coding style檢查

雖然規定團隊Coding Standard要follow PSR規範
不過實在不容易一項項比對~ 再說改都是小地方，實在不知怎麼盯起
聽朋友推薦神器~ git hooks!!!

在commit前，會觸發相關的script檢查
因此只搭PSR定義的script就可以強制規範Coding Standard
這真是太棒了!!!

安裝三步驟

install git
# yum install git
install PHP Code Sniffer
# pear install PHP_CodeSniffer

setup script
裝好PHP_CodeSniffer後，到git專案的資料夾下找.git/hooks資料夾
# cd project/.git/hooks
# vi pre-commit #記得要chmod 755 pre-commit

可以在不同時機點觸發script，這邊就指定pre-commit時，相對也有post-commit,按這看更多

#!/usr/bin/php
<?php

$output = array();
$return = 0;
exec('git rev-parse --verify HEAD 2> /dev/null', $output, $return);
 
// Get GIT revision
$against = $return == 0 ? 'HEAD' : '4b825dc642cb6eb9a060e54bf8d69288fbee4904';
 
// Get the list of files in this commit.
$output = array();
exec("git diff-index --cached --name-only {$against}", $output);
 
$filename_pattern = '/\.php$/';
$exit_status = 0;
 
// Loop through files.
foreach ($output as $file) {
    if ( ! preg_match($filename_pattern, $file)) {
        // don't check files that aren't PHP
        continue;
    }
 
    // If file is removed from git do not sniff. 
    if ( ! file_exists($file))
    {
        continue;
    }
 
    $lint_output = array();
    // Run the sniff
    exec("phpcs --standard=PSR2 --warning-severity=0 " . escapeshellarg($file), $lint_output, $return);
    if ($return == 0) {
        continue;
    }
    echo implode("\n", $lint_output), "\n";
    $exit_status = 1;
}
 
exit($exit_status);

使用方法
很簡單，commit前，就會觸發，如果有未符合規範，就出現如下的訊息

一行行修吧 = =+

如果只是驗證單一隻程式的話，就以直接在console下
也不用一定得透過commit觸發script
# phpcs --standard=PSR2 --warning-severity=0 [檔案名稱]

後來發現原來早就有這東西了~ 而且還滿多運用的~
現在看團隊每次commit前，就得先努力的code修成符PSR規範
心理莫明的覺得好爽~~ 哈哈

使用過程遇到的問題

.git/hooks/pre-commit: No such file or directory
找好久，一直看不出問題...
後來查是換行符號問題!!!當初朋友給的時候是從linux的檔案複製容到，直接貼到windows下txt裡...
把\r去掉就好了...
# cp .git/hooks/pre-commit /tmp/pre-commit
# tr -d '\r' < /tmp/pre-commit > .git/hooks/pre-commit

References
Pre Commit hook git error

星期六, 10月 05, 2013

tmux重新命名session方法

tmux中，重新命名session有以下三種方式

Short way: prefix, then dollar sign:
<c-b> $
Long way: prefix, then colon:
<c-b> :
rename-session -t [current-name] [new-name]
From shell prompt
tmux rename-session -t [current-name] [new-name]

可以看出第一種方式方便多了
但是!!!
偏偏我的環境不曉得為何沒辦法用... 以前可以哩...
其他hotkey都有反應~ 就$這個沒有... 看來我的linux對coco沒興趣 ...對$都沒反應
想要寫.tmux.cnof 卻不知要寫什麼才能重新蓋掉rename session

只好用另外兩種方式... qq
好麻煩，還得打current seesion的名稱...
有人知道的話快教我~~

Reference
tmux - How do I rename a session?

星期四, 10月 03, 2013

實作Phalcon Mssql Pdo Adapter

source: https://github.com/fishjerky/phalcon-mssql

以下是碎碎念
好不容易說服公司採用Phalcon開發專案
但大家主要的concern還是在framework太新~
如果有缺component 或有bug得等官方提供或修復~
而且Phalcon是用C寫的，要改也不容易

我是覺得真有缺的component就用php完成即可~
而且Phalcon team修bug速度還頂快的~
上次看一個issue提出，10天內就有人完成了~
便回覆大不了自己修掉，要大家放心使用~

還是發生了 ... 缺重要的component
就在專案kickoff的前二個星期發現可怕的事...
Phalcon沒有提供SQL Server adapter!!!

本想說那就用純php寫就好~
但這樣Model不能用，就等於整個ORM沒辦法用~
眼看專案就要開始了~ 只好自己下海做了~
上班還有其他事做，只能晚上自己熬夜拚~ 還有右上角這小子會來搶滑鼠鍵盤 ↗
拚了兩個星期，終於做出來了~ (泣)

原本想看Phalcon的code 應該能依樣畫葫蘆做出mssql的PDO adapter~
雖然Phalcon的C Code寫的滿Clean的
不過還真如阿土伯說的~ 除了貫C哥外，其他人說完hello後都不知要幹嘛~
幸好可利用Phalcon 有定義出abstract adapter，可用php實作~

過程中有遇到些問題，在irc上詢問phalcon team~
發現已經在開發sql server的pdo adapter, 但是使用sqlsrv( windows版 )
而且看起來未完成，還是得靠自己開發~

但也發現開發中的phalcon 2.0已全面使用zephir實作
這zephir比c語言親切多了，滿像PHP的
從中"參考"了許多寫法，省了不少實作的時間

Phalcon的unit test寫的滿完整的
這樣寫出來的code也比較放心

再來有時間會利用zephir實作mssql pdo adapter~
這樣效能會更好些~

星期五, 9月 13, 2013

apache 設定alias網站rewrite 出現 404 問題

apache中，alias的資料夾設定rewrite會找不到檔案
太怪了，路徑都寫出來了，卻說沒這檔

印象中，過去設定alias沒遇過這問題
但現在怎麼設都用不出來~
查了一下，可以在.htaccess動手腳

httpd.conf

alias /fish /home/fish/public
    <directory /home/fish/public>
        Options FollowSymLinks
        AllowOverride All
        Order Deny,Allow
        Allow from all
   </directory>

.htaccess
path: /home/fish/public/ap1

<ifmodule mod_rewrite.c>
    RewriteBase /fish/ap1/
    RewriteEngine on
    RewriteRule  ^$ public/    [L]
    RewriteRule  (.*) public/$1 [L]
    #RewriteRule ^(.*)$ /fish/ap1/public [QSA,L] #另一寫法，不需RewriteBase
</ifmodule>

這樣可以work，但麻煩處是每個.htacess都得加
再看看有沒有其他寫法

星期四, 8月 29, 2013

redhat 上裝 rpm

因為公司鎖ftp，不能開心的用yum裝rpm
dependency只能遇到一個抓一個rpm... 快起肖了

不過裝完也對rpm的命名比較理解
過去看同一rpm卻有好幾個檔，一直搞不懂要載哪一個
什麼el5, el6, remi, ...
裝非redhat的rpm 還得下--replacefiles
不然不給裝... 機車搞好久才知道要加這東西
rpm -ivh xxx.rpm --replacefiles
還算是有學到東西嗚...

為了裝lamp，真是吃盡苦頭
升級個PHP 5.1 到 5.4
載超過17個rpm，還不包含載錯裝錯.... 嗚...
而且要先透過另一台電腦抓，再傳進來... 因為鎖ftp....

好站推薦

Linux Package Search
當然google還是最快，不過這個網站以distribution分rpm
很直覺的，很方便

而且最方便的是一併列出dependency的rpm
都要哭了...

星期六, 8月 17, 2013

Phalcon Webtools只能在local machine使用

因安全問題只能在localhost上用 webtools...
用其他ip連webtools就會出現以下訊息

Phalcon\Exception: WebTools can only be used on the local machine

習慣裝在linux上開發...
因此都用vm模擬，再用pietty連進去開發
所以一定不會是localhost~ 杯具...

解決方法

改config
開啟[project]/public/webtools.config.php

define('PTOOLSPATH', '/home/phalcon/phalcon-devtools');
/* you can set ADMINIP as IP 192.168.0.1 or SUBNET 192. or 10.0.2. or 86.84.124. */
define('ADMINIP', '192.168.');  //改成自己的ip就可以了

終極解決方法
看了一下Webtool的code~ 就偷偷改一下，跳開檢查
記得上production要改回去捏...
不然開了個大後門....

file: phalcon-devtools/scripts/Phalcon/Web/Tools/controllers/ControllerBase.php
截錄檢查程式碼

就在直接else的那段加上return false囉~ = =+

Install Phalcon Developer Tools

也滿簡單的就照github上的README安裝步驟走~
不過在手動安裝需要微調一下，以便多人共用
以下針對手動安裝調整為自己的寫法

Installation via PEAR
Installation via Composer
手動安裝
cd /opt #以便所有人可以共用
git clone https://github.com/phalcon/phalcon-devtools.git
ln -s /opt/phalcon-devtools/phalcon.php /usr/bin/phalcon
chmod ugo+x /usr/bin/phalcon

這樣應該就可以用了，試一下
# phalcon //應該就有反應了

Basic
指令查詢
```
# phalcon
```
Project
建立Project #phalcon project [project]
啟動webtools
```
#phalcon webtools enable  //在phalcon project的根目錄裡執行指令
```
指令是這麼寫，但我試會發生
Error: Document root cannot be located
指定實際路徑就可以了 --directory=[phalcon project path]
ex. store為 phalcon project
```
# phalcon webtools enable --directory=/var/www/html/store
```
再用browser開啟 http://[ip]/store/webtools.php
就可以看到webtools的畫面的
Controller
建立 Controller
```
#phalcon controller [controller name]
```

Model
產生model

#phalcon model [model name]

產生CRUD

#phaclon scanfold --table-name [table]

View
沒提供哩....
透過CRUD直接產生action及對應的model及view吧

學習PHP

最近系統好多問題，可能這樣大頭想瞭解一下PHP語法，問有沒有什麼推薦書籍
自己都是跟google大神學的... 也不知有什麼推薦書籍
就順便整理資源一下

從範例學習

PHP語法不難，我想從範例學應該最快
又請google大神找了一下
覺得 TwHappy寫給初學者的php範例還滿不錯的
就推薦給大頭

以下截錄網址

只是玩玩語法而已，還要架個server就太麻煩了
就順便附上線上寫PHP的網址

Coding Standard

PHP-FIG 組織針對 PHP framework 制定 Coding Standard
雖然不是寫framework，但從follow coding standard也算"國際化"了

PSR-0 Autoloading Standard
PSR-1 Basic Coding Standard
PSR-2 Coding Style Guide

星期五, 8月 16, 2013

Phalcon.so 無法載入

不知為何大於v1.2.1的Phalcon一直發生以下錯誤

Fatal error: Class 'Phalcon\Config' not found in /var/www/html/store/app/config/config.php on line 3

查到是因為phalcon.so沒載入
但compile都成功，而v1.2.0以下也都可以成功載入Phalcon.so

後來發現也有人遇到相同的問題 - Phalcon installation on CentOS
就回覆在 /etc/php.d/裡新增個zzzzz.ini，內容如下

extension=phalcon.so

restart apache就可以了...

太神奇了... 真的這樣就成功了....
又可以fly with Phalcon了...

仔細讀一下
原來v1.2.1後改用native JSON
因此會出現

undefined symbol: php_json_decode_ex in Unknown on line 0

難怪只有v1.2.0以下才會正常...

而將phalcon.so放到zzz.ini的原因是...
要在json.ini後，讀phalcon.ini，才不會衝到
可以試著吧zzz.ini改成aaa.ini，php_json_decode_ex的問題會再發生

雖然安裝phalcon真的是滿簡單的~
不過還是遇到小問題，還是記錄一下好了

==env==
OS: CentOS 6
PHP Version: 5.4

download
# git clone git://github.com/phalcon/cphalcon.git
或者是用載的
# wget https://github.com/phalcon/cphalcon/archive/master.zip
# unzip cphalcon-master.zip
install
# cd cphalcon-master/build
# sudo ./install
add extension
# vi /etc/php.d/phalcon.ini #不要加在/etc/php.ini裡 !!!會有json錯誤
extension=phalcon.so #加最後面
Restart apache
# service httpd restart
驗證
# php –m | grep phalcon #有出現就表示完成

星期一, 8月 12, 2013

Install ssh2 for PHP without YUM on RHEL

為了裝個ssh2 for php 得額外安裝一堆...
幸好rpmfind還挺好用的...
不然都要放棄了...

安裝流程照官網上寫的 - CentOS 6.2 64bit Installation Steps

download the libssh2 package from http://libssh2.org, command as following:
tar vxzf libssh2-1.4.2.tar.gz
cd libssh2-1.4.2
./configure
make
make install
download the php-ssh2 package from http://pecl.php.net/package/ssh2:
tar vxzf ssh2-0.11.3
cd ssh2-0.11.3
phpize
./configure --with-ssh2
make
make install

and the ssh2.so file will copy into /usr/lib64/php/modules
check it.
modify the php.ini

vi /etc/php.ini

add the "extension=ssh2.so" to the extension part of php.ini
check the environment of php, use phpinfo();
enjoy

主要兩個套件
但相依很多，缺什麼裝什麼，所以實際上是倒過來裝
遇一個殺一個了... 要有耐心... 套件就到rpmfind上找

libssh

libssh2-1.4.2-1.el6.i686.rpm
libgcrypt-1.4.5-9.el6_2.2.i686
gcc-c++-4.4.7-3.el6.x86_64.rpm
libstdc++-devel-4.4.7-3.el6.i686.rpm

ssh2

ssh2-0.12.tgz
php-devel-5.1.6-39.el5_8.i386.rpm
下phpize需要

心得...
有yum好幸福，沒yum好痛苦...(還按韻ㄝ)
光一堆dependency就快放棄了...
還要找版本相融的rpm來裝...
只能靠deadline來逼自己一步步下去
不過套件找齊後，一步步裝回去還挺有成就感的...

星期五, 7月 26, 2013

Phalcon 何時要起飛呢...

前陣子朋友推薦個超殺的PHP Framework - Phalcon
這圖表真是太吸引人了，有夠殺~

最重要的是整體framework 也滿不錯的
還有Dependency Injector~

Template Engine - Volt
之前滿不喜歡PHP相關的template engine
畢竟自己能做出來，還得花時間學個template的expressive 語法
而且也把view搞的也不是很好看

不過看Phalcon的 template engine - Volt還挺不錯的
有時在View還是會有些邏輯判斷，把view的程式搞得滿亂的
而Volt語法簡潔，簡化PHP在view的一些code，
語法也挺直覺，不會造成額外的困難，超想拿來試試!!!
而且速度快!!!

Volt is an ultra-fast and designer friendly templating language written in C for PHP
- 簡化php語法
```
Robots<ul>
{% for robot in robots %}
{{ robot.name|e }}
{% endfor %} 
</ul>
```
  可以看到減少滿多php code
  變數直接用、php tag也不用、物件.的寫法、及filter |e
  view的code變得更少，更少就更好維護~ nice
  
  |e是指escape Html的意思9
  另外還有|capitalize|trim|striptags (接在一起就是都做的意思)
  smarty也是相同的用法
- Loop Controls
```
{# skip the even robots #}
{% for index, robot in robots %}
    {% if index is even %}
        {% continue %}
    {% endif %}
    ...
{% endfor %}
```
- Html tag helper
```
{{ javascript_include("js/jquery.js") }}

{{ form('products/save', 'method': 'post') }}

    Name
    {{ text_field("name", "size": 32) }}

    Type
    {{ select("type", productTypes, 'using': ['id', 'name']) }}

    {{ submit_button('Send') }}
</form>
```

Assets Management
即在php裡管理css, javascript等resource，寫方法如下

<?php
class IndexController extends Phalcon\Mvc\Controller
{
    public function index()
    {

        //Add some local CSS resources
        $this->assets
            ->addCss('css/style.css')
            ->addCss('css/index.css');

        //and some local javascript resources
        $this->assets
            ->addJs('js/jquery.js')
            ->addJs('js/bootstrap.min.js');

    }
}

在view裡就下...

<html>
    <head>
        <title>Some amazing website</title>
        <?php $this->assets->outputCss() ?>
    </head>
    <body>

        

        <?php $this->assets->outputJs() ?>
    </body>
<html>

本想說這東西有需要嗎自己寫不會比較好嗎
其他framework也看有過這東西
不過就覺得怎麼可能phalcon會推這東西，再給他看下去...
原來是為了做全併到同一個檔案，並做最小化...
果然代誌不是憨人所想的這麼簡單...

<?php

$manager

    //These Javascripts are located in the page's bottom
    ->collection('jsFooter')

    //The name of the final output
    ->setTargetPath('final.js')

    //The script tag is generated with this URI
    ->setTargetUri('production/final.js')

    //This is a remote resource that does not need filtering
    ->addJs('code.jquery.com/jquery-1.10.0.min.js', true, false)

    //These are local resources that must be filtered
    ->addJs('common-functions.js')
    ->addJs('page-functions.js')

    //Join all the resources in a single file
    ->join(true)

    //Use the built-in Jsmin filter
    ->addFilter(new Phalcon\Assets\Filters\Jsmin())

    //Use a custom filter
    ->addFilter(new MyApp\Assets\Filters\LicenseStamper());

研究phalcon好一陣子...
最近應該是時機點推了...

但是!!!
看到這張圖...
我實在不知道怎麼跟主管推phalcon....
可能要說這隻非常有淺力，將來一定漲.... (都貼平了...)

Reference Performance benchmark of popular PHP frameworks

星期日, 6月 30, 2013

最佳化Ajax的執行速度

最佳化 for 迴圈
把DOM節點附加至文件
減少點 (dot) 標記

Reference
Ajax in Action

MD5被破解了，要改用SHA

過去很常用MD5做訊息摘要，近來發現某些地方會用SHA做摘要
google了一下，發現MD5因hash不夠強而被破解了，能夠偽造相同的訊息摘要
大致問題如下

MD5的hash值，google就會找到了，
本來沒在意這點，不過有時會用在儲存密碼上
這就容易被反推，記得幾年前也有朋友用google MD5去找密碼...
相同的訊息摘要
MD5本來就不以安全為出發點，只是做摘要用，因此hash不夠強，會發生兩個不同的message，但產生相同的hash碼
利用MD5做檔案特徵碼也有相同的問題
SHA的訊息摘要的長度更長，因此較不會發生碰撞，也更為安全
不過相對MD5，運算也相對較慢，所以適合用在摘要小段訊息
檔案還是用MD5比較快

PHP寫法

$data = "魚乾的筆記本";
$key = "fishjerk";

$sig = md5($data, true);  // = hash('md5', $data);
//Output 32個字元特徵碼: 9fc745260dedf115ec7b62fa811f0698

$sig = hash_hmac('sha256', $data, $key ); //跟hash('sha256')的差別是多了$salt改變特徵碼
//Output 64個字元特徵碼: 7b8ddbde1cc031945d23d82af786a83048e40efff7c1194ed9ea6c6f0fae39b2

$sig = hash_hmac('sha512', $data, $key );
//Output 128個字元特徵碼: 8cb44d44e52b443fa3095a06668dd6e31b8ce973f3b4f353d40ca35b47605dc41ff3ab003f375aee5ed1a14456e2b783d1f98543cc111822ea63d26d1427ea61

SHA有5種演算法，SHA-0 ~ SHA-5
目前 SHA-0 及 SHA-1 也都被破了
SHA-2 以上還沒出現有效的攻擊，SHA256 及 SHA512 即為 SHA-2

過去上密碼學時，都沒注意到原來SHA是Secure Hash Algorithm 縮寫
都說是Secure了，還在用MD5玩~ (羞)
難怪之前用 facebook 金流時，人家也用sha256

References

星期三, 6月 26, 2013

Select For Update

前陣子發生商品的庫存欄位發生負值~ 也就是超賣~
因此很有經驗「會向中對齊」的長官就說一定沒用select for update~

啥系 Select For Update
就是把某欄位select 出來做 update
//例如..
SELECT quantity FROM products WHERE id=1
...拉出來減掉購買數... 再更新回DB
Update products Set quantity = $quantity WHERE id =1 
看起來沒問題，但如果在select後，update前，這商品先其他人更新了，這quantity就會有問題了~
所以Oracle可以下
SELECT quantity FROM products WHERE id=1 FOR UPDATE
這樣會把此筆先lock，其他人就select此商品就待等待Update剛成

說這麼多~~ 但公司是用MS SQL....
只好再研究一下怎麼用...

MS SQL
網上查到可加HOLDLOCK or UPDLOCK
研究了一下，由於是用select for update，如果搭HOLDLOCK，可能發生互相等待而造成deadlock，因此應使用UPDLOCK，SQL Server會選擇由一完成update後釋放資源
所以SQL應該如下，以避免 deadlock
```
SELECT quantity FROM products WHERE id = 1 WITH (UPDLOCK)
...
UPDATE FROM products SET quantity = $quantity WHERE id =1 
```
MySQL refer to [MySQL] 使用 SELECT ... FOR UPDATE 做交易寫入前的確認
SET AUTOCOMMIT=0;
BEGIN WORK;
SELECT quantity FROM products WHERE id=3 FOR UPDATE;
===========================================
此時 products 資料中 id=3 的資料被鎖住(註3)，其它交易必須等待此次交易
送交後才能執行 SELECT * FROM products WHERE id=3 FOR UPDATE (註2)
如此可以確保 quantity 在別的交易讀到的數字是正確的。
===========================================
UPDATE products SET quantity = '1' WHERE id=3 ;
COMMIT WORK;
===========================================
送交(Commit)寫入資料庫，products 解鎖。
註1: BEGIN/COMMIT 為交易的起始及結束點，可使用二個以上的 MySQL Command 視窗來交互觀察鎖定的狀況。

其他問題
"select for update"會造成其他Query等待，如何才能讓其他Query不等待呢？

Oracle

SELECT * quantity FROM products WHERE id=1 FOR UPDATE NOWAIT;               //不等，回報錯誤
SELECT * quantity FROM products WHERE id=1 FOR UPDATE NOWAIT skip Locked;   //不等，給目前的值 也就是dirty read

MS SQL

SELECT * quantity FROM products WHERE id=1 WITH (NOWAIT);  //不等，回報錯誤
SELECT * quantity FROM products WHERE id=1 WITH (NOLOCK);  //不等，給目前的值 也就是dirty read

MySQL
等有用到再補....

Reference

星期日, 5月 26, 2013

Browser caching CSS, Javascript file 問題

有時遇到改了css或js，但卻沒反應，除了天兵改錯隻以外，太多是因為browser自己cache住了，有幾個做法可避免

ap server處理
apache可用mod_expires

//1.載入mod_expires.so
# vi /etc/httpd/conf/httpd.conf
LoadModule expires_module modules/mod_expires.so  #拿掉註解

//2.config 
#vi your_app_path/.htaccess
ExpiresActive on
ExpiresByType application/javascript "access plus 1 months"
ExpiresByType image/jpg "access plus 1 month"
ExpiresByType image/jpeg "access plus 1 month"
ExpiresByType image/gif "access plus 1 month"
ExpiresByType image/png "access plus 1 month"
ExpiresByType text/css "access plus 1 months"

p.s. 最好搭must-revalidate ，不然cache時間寫太長的要改檔案才會變，不過也是有人測試說不一定有作用...，所以還是利用下面的做法一定有效!

利用uri不同，迫使Browser reload
以前是自己在get參數列加版本or日期
```
<link type="text/css" href="aaa.css?v=20130526"/ >
```
不過每次有更新就得手動更改，實在不是好方法
看到有人利用file更新日期搭RewriteEngine~ 真是太棒了~
- html載入
```
<link type="text/css" href="/css/main.<?php echo filemtime('/path/to/css/main.css'); ?>.css" / >
//會產出 /css/main.1237440708.css
```
  main.1237440708.css只是虛擬的檔案，此檔並不存在會透過rewrite rule指向main.css，因此還需設定.htaccess
- .htaccess設定
```
RewriteEngine On
RewriteRule ^(css|js)/(.*)\.[0-9]+\.(.*)$ /$1/$2.$3 [L]
```
  p.s. 如果很好學想知道rewrite rule怎麼寫的，可以看Force reload of updated CSS and Javascript files with unique filenames
利用HTML5的cache manifest
就隨意改一下 cache manifest的內容
Browser就會自己檢查有沒有新的版本...

References

星期六, 5月 25, 2013

apache 常用設定

250行 ServerAdmin root@localhost
       系統管理員的 email ，當網站出現問題時，錯誤訊息顯示的聯絡信箱
264行 ServerName www.example.com:80
        設定主機名稱，如果沒有指定的話，預設會以你的 hostname 為依據。填入的這個主機名稱要找的到 IP
354行 UserDir disable 修改成--> #UserDir disable
361行 #UserDir public_html 修改成--> UserDir public_html
390行 DirectoryIndex index.html index.html.var 修改成--> DirectoryIndex index.html index.htmindex.php
                                                                                                       index.html.var
730行 LanguagePriority en zh-TW ...... zh-CN
      設定顯示語系的優先順序
746行 AddDefaultCharset UTF-8
        有兩種作法，一種是『直接指定由 WWW 宣告 Big5 編碼，而不用網頁表頭的宣告』：
            AddDefaultCharset Big5   或 AddDefaultCharset  zh-TW
            另一種則是不要宣告預設語系，由網頁表頭宣告的啦！直接註解起來即可
        # AddDefaultCharset UTF-8

訂閱：文章 (Atom)

星期六, 12月 21, 2013

星期四, 11月 28, 2013

星期日, 10月 27, 2013

星期六, 10月 26, 2013

星期二, 10月 22, 2013

method執行次數

method 回傳值

Issue

星期三, 10月 09, 2013

星期二, 10月 08, 2013

星期六, 10月 05, 2013

星期四, 10月 03, 2013

星期五, 9月 13, 2013

星期四, 8月 29, 2013

星期六, 8月 17, 2013

從範例學習

Coding Standard

星期五, 8月 16, 2013

星期一, 8月 12, 2013

星期五, 7月 26, 2013

Robots

星期日, 6月 30, 2013

星期三, 6月 26, 2013

星期日, 5月 26, 2013

星期六, 5月 25, 2013