PERC H700 與一些背板 (backplane)/擴展器 (expander) 的兼容性測試報告

幾天前 H700 就已經入手，趁著硬盤以及其他東西還沒有到齊的情況下，先做一些基本測試。主要的目的就是看看到底 H700 是否能夠達到我想象的那種程度，以及是否真的需要 cross-flash 其他用 LSI 2108 ROC 的 RAID 卡的固件。


1、PERC 700 無法檢測 Backplane

無論我怎麽連接，PERC 700 是無法檢測到 backplane 的。我有兩個 backplane，一個是 BPN-SAS-747TQ，一個是 CSE-M35TQ 裏面的 backplane，連接使用帶 sideband 的 Adaptec SSF-8087 fanout 綫，sideband 使用 SGPIO。但是在 MSM 裏面 backplane 總是顯示 0。

不知道 PERC H700 是否不支持 SES-2 協議？


2、Dell PREC H700 與 Intel RES2SV240 的兼容性

首先一個很重要的測試就是 H700 與 RES2SV240 的兼容性。儘管 RES2SV240 只有 24-port，但是支持 load balancing，可以連接兩個輸入 (8-port input)。

連接方式如下：
H700 --> RES2SV240 --> CSE-M35TQ

測試結果：H700 能夠成功辨認 RES2SV240 並且識別成爲 enclosure，硬盤能夠辨認，並且組成 VD。

由此看來，在 LSI MSM 裏面的 enclosure 的定義是 expander 芯片...
只是，不知道爲什麽，總是說 enclosure 的 port 有 sensor error。不過只是 warning，不影響使用。

結論：Dell PREC H700 與 Intel RES2SV240 兼容


3、Dell PREC H700 與 Chenbro CK13601 的兼容性

由於五湖兄的慘案，總是覺得 LSI 的 2108 芯片與上一代的擴展芯片 LSISASX?? (3Gbps) 不兼容。不過既然手頭上有一個 Chenbro CK13601，就不妨也測試一下。CK13601 是 LSISASX36 芯片。

連接方式如下：
H700 --> CK13601 --> CSE-M35TQ

測試結果：H700 能夠成功辨認 CK13601 並且識別成爲 enclosure，硬盤能夠辨認，並且組成 VD。

好吧，或者是 Chenbro 的固件寫得好 (發現原來 Expander 也有固件的~~)，或者是 LSISASX12 太舊，或者是 Chenbro 經過幾次固件更新之後終于可以合乎 6Gbps Controller 的口味，反正，CK13601 工作如常~~

結論：Dell PREC H700 與 Chenbro CK13601 兼容

4、Dell PERC H700 與串聯 expander / load balancing 的兼容性

主要目的~~~我的預想就是希望：

1、H700 支持 load balancing，這樣就可以把所有 8-port 接到一個 RES2SV240 上。

2、H700 支持多 enclosure 串聯所以可以把另外一個 RES2SV240 接到第一個 RES2SV240 上 （同樣 8-port in/out)。

這樣理論上我就能夠得到可用的支持 load balancing 的 24-port，可以接 24 個設備，並且不用擔心會導致單通道擁擠（理論上 48Gbps 都可分配）。

由於另外一個 RES2SV240 還沒到，就先用 CK13601 代替：

H700 ==> RES2SV240 --> CK13601 --> CSE-M35TQ

就如同我的猜想一樣，H700 默認的 MaxChainedEnclosures=1 阻止了這種連接方式：

PowerEdge Expandable RAID Controller BIOS

Copyright(c) 2010 LSI Corporation

Press <Ctrl><R> to Run Configuration Utility

HA -0 (Bus 133 Dev 0) PERC H700 Integrated

FW Package: 12.10.1-0001

There are 2 enclosures connected to connector 01, but only maximum of 1 enclosures can be connected to a single SAS connector. Please remove the extra enclosures then restart your system.

這種情況下，必須使用 megaoem 去修改參數。在把 MaxChainedEnclosures 調整到 16 (LSI 9260-8i 的值)后，系統可以啓動，並且可以識別所有的 enclosures:

主界面也有顯示（backplane 還是 0）：

儘管下面的那些 Sensor bad on enclosure... 的警告看著刺眼，不過 H700 的確可以識別兩個 enclosures 了...

結論：Dell PREC H700 支持 enclosure 串聯 （在 MaxChainedEnclosures=16 的情況下），load balancing 未知，不過第一個 RES2SV240 可以啓動，貌似沒問題。

感覺上，Dell H700 無需刷其他卡的固件，因爲刷了就會損失一些高級功能。使用 megaoem 開啓一些設定就可以變成與其他同類產品差不多的功能。只是以下功能是沒有辦法開啓的：

1、Dimmer Switch

2、Redundant Path

3、Alarm

4、Cluster

以下功能是能夠開啓的：

1、Hot spare, unused good spin down

2、Max LDs per VD set to 64 (H700 只有 16）

3、Max chained enclosures set to 16 (H700 只有 1)

還有一些 SSD/HDD 或者 SATA/SAS 混合的能力也是可以開啓的。

(不知道 H800 是否也可以通過 megaoem 實現 sata 硬盤的支持呢？嘿嘿)

在特定情況下，H700 就變成可以内部使用的同時，外接更多的 enclosure，達到 H800 的部分能力。

Dell 整天就在恐嚇用戶，網站上面就說沒有 enclosure 支持，不過貌似不是這麽一回事……

Dell PERC H700 終于到手了！

PERC H700 被稱之爲 10 年超值卡。由於一直使用的 Adaptec 5805Z 兼容性有問題，而且 IOP 348 處理器有 1.2GB/s 的瓶頸 （聽説主要是由於從 PCI-X 移植到 PCIe 的後遺症），所以決定入手一個 H700。從淘寶上購買，然後連運費一共費了我 600 NZD，不過縂比從美國買要好，而且是全新的。美國那邊就算是二手的也價格不菲。

真正超值的只有 H700 的 1GB NV 版本。這個版本帶有 CacheCade 和 FastPath 以及 Cut-through IO，想必同類型的 LSI 卡便宜了不少！

首先是包裝，基本的工業包裝，不過可能上去有點壓倉貨的樣子 -_-

内容很簡單——PERC H700 + 電池：

注意：電池是必須的！沒有電池，那個 1GB NV RAM 是不會工作的！反正可能是 Adaptec 已經註冊了 Super Cap 的專利，所以電池還是必需品。這也是我頭疼的地方——每一年要給 Dell 砍一次，換電池，唉，還得拖著尾巴，跟 Adaptec 5805Z 一樣。看來甩掉尾巴的日子遙遙無期。

由於這個 ROC 是 IBM 的 PowerPC 800MHz，儘管是單核，但也是 CPU。於是趁著是全新，裏面的導熱硅脂還沒有硬化的時候，趕緊先換了！嘿嘿。貌似有點 overkill...先把散熱片拿下來（只是很簡單的扣件），然後用 ArticClean 吧上面的硅脂都清理掉：

準備使用的是 IC Diamond——鑽石微粒做成的硅脂，導熱很好，我的CPU一般都用它：

用 Dot 方案，應用硅脂，然後裝上散熱片。注意：必須壓緊！那個扣件的壓力不足，必須用手加壓，注意用海綿墊防止壓坏元件。

然後，終于發現一個問題——沒有 PCI 槽的擋板！由於這個是 H700 Integrated 版本，沒有 Adapter 版本裏面附有的綫材以及 PCI 擋板，所以只好找找看看有沒有合用的，因爲這個卡是必須插在 PCIe 槽上面的 -_- 找了半天，發現只有 Chenbro CK13601 的擋板合用，嘿嘿：

結果，可憐的 CK13601 就貢獻了擋板，反正我也沒打算把 CK13601 插在 PCI 槽中（Expander 只要電源就能夠工作，我打算吊掛）。這樣 H700 Integrated 就變成 H700 Adapter 了，只不過樣子難看一點，以后有機會找一個更合適的擋板好了。看了一下淘寶，實際上也有的賣，只不過要 50 RMB，感覺有點搶錢——只是一個擋板而已...

其實以上換散熱硅脂的步驟只是額外的，可能本來使用的硅脂就可以很好的支持散熱。只不過，經過 Adaptec 5805Z 的高溫事件之後，也不太相信廠商自己使用的配置。Adaptec 5805Z 我還要用一個 Evercool FOX-1 去抽熱，要不然夏天得上 90 C。當然，要給一個雙核 1.2G 的 CPU 做小範圍被動散熱，貌似也是苛刻了一點……爲了 H700 的健康，還是用鑽石好，呵呵。

為 Adaptec 5805Z 配備一個 Chenbro CK13601

Chenbro CK13601 已經很難找，從美國那邊訂了，然後還要等 Drop Ship 才能夠運過來。至於爲什麽不買 CK23601 (6Gbps) 的版本，原因有二：首先是價錢比 CK13601 貴 50 USD 左右，運過來新西蘭要打稅（剛剛好超過限額了 -_-），第二是 Adaptec 5805Z 比較挑，以前跟 Intel RES2SV240 有過節，所以還是給它買個 3Gbps 的同代產品好，至少知道 Adaptec 5805Z 跟 CK13601 是兼容的說~

Chenbro 的東西其實還是不錯的，就是數量不多，而且客服也不鳥你。但就實用性來説還是可以的。首先是包裝：

白盒，嘿嘿，還是挺特別的。内面就是 CK13601 以及一條 35cm 的 host -> expander SFF-8087 綫，感覺不錯。35cm 這個長度不常見，而且比較適合距離較遠的佈局：

卡的佈局比較粗曠，面積很大，可能是爲了放置更多的接口，並且保留足夠的距離用以走綫。唯一覺得有點古怪的是，LSISASX36 芯片上面的散熱片是粘貼上去的！希望這個擴展芯片不會很熱，否則使用散熱膠水黏貼的散熱片可能導熱不良。

使用中的 CK13601 指示燈較多，可以說是色彩繽紛，嘿嘿，不過各自表達的意思也挺清晰。注意的是，CK13601 只有一個輸入端口 (input port)。裏面的輸入端口用了，外置的那個就不能用，反之亦然。主要是這個卡沒有設置 load balancing 的支持……配 Adaptec 5805Z 就是絕配了 -_-

HPC 主機儲存解決方案構思基本完成！

主機是現成的，不過現有的儲存卻不太行。經過研究構思，就以下面的圖示為目標：

有一些事項必須注意：

1、PERC H700 有 MaxChainedEnclosure=1 的限制，上面的串聯（Serial）連接方案可能會受阻。主要還是取決於 MegaOem 能否把 MaxChainedEnclosure 變成 LSI 同類型產品的默認值(16)，這樣就沒有問題了。如果不能夠修改，則必須採用並聯並且 Interleave 的連接方式來達到最高性能。

2、Dell 官方網站上稱 PERC H700 只支持 16 個硬碟。不過好像只是虛假數字（Dell 的機箱只有 16 個槃位）。

3、Dell 的説明書中說 PERC H700 的 Multipathing 跟 Load Balancing 都關閉了，然而好像 Load Balancing 還是開啓的。這個需要進一步證實，否則上面的方案沒辦法實現，或者性能下降。

這樣的連接方法，最多可以有 24 個硬碟。上圖中只接了 20 個，剩下的那個 x4 口，準備用於 CacheCade 陣列的使用。我手頭上有一個可以放到 3.5" 位的 2x 2.5" SATA 籠子，接兩個 SSD 用於 CacheCade 應該沒問題。考慮 Intel 311 SSD 中。

傳説中最小的雙 Nehalem Xeon 主板：Tyan S7002 終于入手！

儘管從厤史上看不是最小的雙 Xeon 主板，不過在 Nehalem Xeon 一代，應該是最小的了……

我買這款主板的主要原因，是想用回一個舊的鋁鎂合金 ATX 機箱。那個機箱用了 5 年，感覺不錯，而且沒有生銹（鋁鎂合金，呵呵），所以不想浪費。

可以看了很多雙 Nehalem Xeon 的主板，發現不是 EATX，就是 SSI EEB (例如我的 Tyan S7025)，所以還是有點頭疼，主要是不想再添加新的機箱，那些舊 P4 的機箱還堆在車庫裏面浪費位置呢~。

最後發現 Tyan S7002 是 SSI CEB，僅僅比 ATX 大一點點：

ATX	12″ × 9.6″
SSI CEB (Tyan S7002)	12″ × 10.5″
SSI EEB (Tyan S7025)	12″ × 13″

好吧，看了一下機箱，發現主板可容納寬度是 28cm，而 SSI EEB 寬度是 26.7cm，所以應該沒問題。不過，下一個問題又來了——S7002 有 5 個版本（其實有 6 個，不過其中一個是傳説~）：

• S7002GM2NR-LE (Intel® 5500 Chipset)
• S7002WGM2NR-LE (Intel® 5500 Chipset, 有 SAS)
• S7002G2NR-LE (Intel® 5500 Chipset)
• S7002WGM2NR (Intel® 5520 Chipset, 有 SAS)
• S7002AG2NR (Intel® 5520 Chipset)

其實從上表中就可以知道，真正有价值的就是 5520 芯片組的那些。主要的區別是，5500 芯片是 Tylersburg-24D，只有 24 條 PCIe 2.0 信道，而 5520 是 Tylersburg-36D，有 36 條 PCIe 2.0 信道。這樣比較起來，5520 芯片組提供的 PCIe 槽就會多，並且每槽能夠分配的信道也會多。事實也如此，前面三個 S7002 版本不單止少一條 PCIe x8 2.0 槽，還有一條 PCIe x8 2.0 只跑 x4 link，所以擴展潛力不高。

不過令人糾結的事情發生了！前面那些 5500 芯片的滿地都是，5520 芯片的 S7002 就象恐龍一樣難找！

最終在不斷 Google 下，終于找到了一個 S7002WGM2NR 的倉底貨，呵呵，還是全新的哦！

首先是標準的泰安盒，我的 S7025 盒子也是這個樣子的：

標準的3格配件tray (少了一根SAS綫，通知了分銷商，分銷商通知了Tyan，正在給我寄過來，郁悶中 -_-):

標準的一個大塑料袋，裏面的就是極度稀罕的 S7002WGM2NR:

構架不錯，就是 LSI 的 SAS 芯片位置有點古怪。如果多兩條 PCI 槽感覺會更好（那就可以用來插 Chenbro CK13601，呵呵）：

感覺上比 Tyan S7025 好像更高等級 -_- PCIe x16 有夾子，有 4 個 8-pin PWM 風扇口，有 POST 數字表，差點就有 ICH10R 的散熱片（有孔，倒是可以自己加），怎麽看都比 S7025 專業，我暈倒~

不管如何，我的兩個 E5520 用於可以用上了……我要一大堆 VM !!


Update 2011/9/17: 補寄的綫終于今天收到，呵呵~

望穿秋水的 M28SAB 終于到達了！

變態的運費！變態的手續費！幸好還是不用交關稅~~ =_=

其實東西只有 5 lb 重量，不過體積重量換算達到 9 lb，虧了~

準備開箱：

原本以爲是 Bongous 自己的箱子，誰知道直接就是 M28SAB 内容物：

不愧是 OEM，連説明書都沒有！

正面：8 個 drive bay 的塑料部分好像不是突出太多，應該可以兼容我的 SC747 機箱（希望如此~）：

注意！這個是 OEM 版本，所以是沒有背蓋以及風扇：

看上去很爽，主要是兩個 iPass 接口加上兩個 enclosure 芯片實在是太帥了...
超微的東西質量還是和以往一般的好。説明書只好從網上down...

RemoteFX 與 Domain Controller 不兼容！

簡直令人太失望了！原本 Hyper-V 就在 DC 上面，升級到 Windows 2008 R2 SP01 之後，想嘗試最新的 RemoteFX 技術。安裝成功了，打開 Hyper-V 裏面虛擬機的屬性界面卻 stuck，檢查一下 EventLog, 發現 remoteFX 的服務竟然 crash 了！

然后又搜索了老半天，才發現 RemoteFX 跟 Domain Controller 不兼容。我說，微軟簡直就是拿用戶開玩笑，如果不兼容，就應該在安裝的時候提醒！難道寫個提醒也真的這麽困難？

看來想玩 RemoteFX 得找個不是 DC 的 Hyper-V 了...

自己寫了個 Stream Benchmark 5.8 的 Windows 控制臺界面

最近在研究到底我的電腦内存性能如何。Nehalem 架構應該支持 Memory Channel Interleaving。由於每個 Xeon W5580 應該有三條内存通道，並且每通道支持最高 1333MHz 頻率的 DDR3 内存，雙 CPU 的理論帶寬應該超過 60GB/s。

當然，理論值基本上是別想達到了，所以就想找一個比較直觀準確的測試軟件來測試一下。
我嘗試了好幾個整機測試軟件，不過好像要不就是單綫程的測試，要不就是全部核同時使用的聚合測試。也不是說它們測不准，不過感覺好像不太直觀。

最後，看了一些在 Linux 上面的内存測試報告，發現有的用 Stream Benchmark 這個軟件，不過找完整個官方的網站，也只找到個 5.8 版本的 Windows 編譯。而且 UI 寫的不是太好，有 Bug。

因此還是決定自己寫一個 UI 包裝一下方便測試 (需要Microsoft .NET Framework 2.0或者以上)：

下載地址：stream_bench_58_ui.zip

最終發現，Memory Channel Interleaving 開是開了，不過單綫程最高只有 12GB/s 的速度。而在最佳情況下，内存利用率最大也只有 60%.....-_- 郁悶中！

2011/9/6: 啊~~~！WMI 杯具了！竟然不是所有的 BIOS 都會發準確的 SMBIOS 信息！好吧，我 hard code 64 位，這縂行了吧~~？

無比令人糾結的 Intel X25-E 固件：8862 !

Firmware version = 8862
也就是說，到目前爲止，我已經收集到的4個 X25-E 32GB 就具有3种不同版本的固件的了...

8850 = 官方網站上面最新的，反正這個之前的都可以升級到這個版本
8860 = 鬱悶版本，零售的有一些是這個版本，代表較新的一批次 X25-E
8862 = 這個我沒語言了……貌似是OEM專有的。有這個版本的 X25-E 是 Oracle OEM 的...

已經發信問 Intel 到底什麽時候才會更新最后一次固件...X25-E 已經準備退出市場了，拜托 Intel 就好頭好尾，趕緊更新固件。現在怕怕，混合不同版本的固件跑 RAID = 自殺...

[UPDATE: 2012/01/27]

Intel 的客服小妹妹跟工程師確認了 8850 跟 8860 啥的沒區別~~貌似我也沒有辦法，只好相信他們了~

不過研究了一下，發現 8860/8862 更新的好像只是對背板 (Backplane) 的兼容性之類的。對於 LSI 這種大路貨的支持應該用不着這些更新，權當自我安慰 -_-

CSE-M28SAB-OEM 已經到達 Bongous.com 倉庫

今天終于返現 Bongous.com 的賬戶已經提示我的 CSE-M28SAB-OEM 已經到達，可以準備運到新西蘭了。不過一看重量，竟然高達 9 lb，運費基本上達到這個籠子的一半，還有10%的代溝費用 -_-

反正這個東西與其價值已經不成正比，爲啥就這麽稀罕呢？？

本來也不想在 Bongous.com 上面代購，不過貌似除了歐洲網站（看不懂那些國家的文字）有得賣，就只剩下ncix.com，而且還只銷美國加拿大，而且國際信用卡不能用，簡直就是逼著我去代購 XD

先在他們倉庫晾一下，到時候買多點其他的再做 consolidate shipping...

PS: 在 http://we.pcinlife.com/ 上看到五湖廢人兄的兩個 M28SAB 實在是太羡慕了~~果然有特殊渠道啊~~

復活了！

已經非常久沒有寫 Blog，貌似自從兩年前開始搭建我的“低端超級機器”就一直沒什麽時間。上班忙，然后又要爬淘寶、eBay、Google Shopping之類的淘便宜硬件去裝備我的機器（我只買新件的，對二手件完全沒信心）。還要精密的計算我的財政預算（反正現在都感覺肉痛，而且還沒完！），周末還要幫機器打掃衛生（保持耐用性及外觀），反正就是一漩渦，不能自拔，嘿嘿~
好吧，這個是Heads Up Post，繼續下來就是我的機器的儅前狀況以及正在著手的更新……寫Blog當作為Internet做點貢獻罷，呵呵~