NFS上でのHDF5

HDF5のv1.10.0から"File Locking under SWMR"から実装されたことで、NFSマウントしたファイルシステム上でhdf5にアクセスできなくなった。

https://support.hdfgroup.org/HDF5/docNewFeatures/SWMR/Design-HDF5-FileLocking.pdf

以前はHDF5をダウングレードしていたが、環境変数の設定でfile lockingを外すことができるとのこと。

export HDF5_USE_FILE_LOCKING=FALSE

これはv1.10.1で実装されたようだ。 https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.10/hdf5-1.10.1/src/hdf5-1.10.1-RELEASE.txt

anacondaのhdf5

hdf5(1.10.x)がNFSクライアント側で使えない。hdf5(1.8.x)は大丈夫そうなのでダウングレードする。anacondaチャネルのものは依存関係がややこしいのでconda-forgeのものを使う。インストールは以下のようにする。

conda install -c conda-forge hdf5=1.8.20