お手製クラスタを作るひとは、コンピュータの管理が本職でないはずです。最低限の機能があればよい、というスタンスで設計を行うことをおすすめします。コンピュータのハードやソフトは凄い勢いで進歩するので、せっかく覚えたことがすぐに使えない知識なることもよくあります。また、ちょっと凝ったことをしようとすると、覚えなければいけない知識が指数関数的に増えるように思います。結局、小さなクラスタの場合（１０台程度）、一台ずつ、ディスプレイとキーボードを挿して設定やメンテナンスを行ったほうが、いろいろなことを覚えるよりも時間を節約できる、という場合もあります。
ハードウエア
メモリ
エラー訂正付きのメモリは必要ありません。メモリを購入したらmemtestを行うことをおすすめします。メモリの選択には経験が必要です。科学技術計算を行う場合、普通のパソコンの使い方に比べてかなりの負荷がかかるので、一般のパソコンでは大丈夫と言われているメモリでもダメなことがあります。PCパーツショップの店員さんに、安定しているメモリを教えてもらうと良いと思います。一般に値段がちょっと高いものの方が信頼性が高いです。しかし、ダメな時期は何を買ってもダメということもあります。
電源
電源は意外と壊れません。まあまあ安いものでも大丈夫だと思います。予想される電源容量より少し大きめにしておくことをおすすめします。クラスタを居室に置く場合は、静音タイプの電源がおすすめです。台数が多くなると意外とうるさくなるからです。
LAN
ギガビットのものなら、たいてい最近のLinuxディストリビューションで問題なく動きます。
ネットワークハブ
ギガビットの２４ポートくらいのものなら何でも大抵大丈夫です。ハブはよく壊れるので、あまり高価なものを買わない方がいいと思います。
電源タップ
怖いのは火事です。プラグがきちんと刺さり、ホコリ等が間につまらないものを選びます。最大電源容量も確認しておくべきだと思います。
あきらめるもの
無停電電源や、データバックアップシステムはあきらめます。
ソフトウエア
OS
今日現在ではUbuntu server editionがおすすめです。今買えるCPUはほとんどX86-64アーキテクチャなので、Ubuntu server edition 64bitを選ぶことになります。
MPI（並列計算システム）
OpenMPIを使います。OpenMPIは広く使われているMPI2のオープンソース実装です。他の選択肢として例えばMPICH2があります。
ジョブ管理システム
Grid Engineを使います。オープンソースです。他の選択肢としてはTorque&Mauiがあります。
アカウント情報管理システム
１０台程度なら各マシンにUnit accountを作ってもよいですが、集中管理するための練習もかねてLDAPを使います。昔はNIS(Network Information Service)を使うのが一般的でしたが、最近はLDAPが主流になりつつあります。
クラスタモニタシステム
gangliaを使います。コンピュータの利用状況や健康状態がわかります。
１００万円でどのくらい買えるか
Core i7-2600K、メモリ１６GBという構成で、一台あたり１０万円以内で買えると思います。ハブとか電源タップとかを買うとしても、１００万円あれば、８台くらいは買えると思います。
