見事にぶっ壊れて頂いたNAS鯖ですが、実はESXiのデータストアも兼用しておりました・・・・。
ので、気を取り直して再構築です。
“NAS再構築 〜iSCSIターゲットの設定” の続きを読む
カテゴリー: iSCSI
NAS 再構築 〜痛恨の一撃〜
前のエントリーからひと月空いてしまいましたが、実は先日NASのbootドライブがクラッシュ・・・orz
現在、懸命に復旧作業中なので、結果はおいおい。
大事なデータが飛んでなかったのが幸いです。
（iSCSIのエリアのサルベージが十分でなかったのが痛い・・・）
みなさん、バックアップはちゃんと取りましょう！
ファイルサーバ再構築 〜準備編〜
仮想環境更新 〜Part1 ストレージ鯖について〜
こちょこちょ書いてたら、意外にまとまってきた。
現在、運用中のストレージ鯖について、ちょっと思うところを。
仮想化環境見直しの一環なので、どこまで出来るかわかりまへんが・・・・（RAIDカードもう一枚足して、Expander経由で大量の玉載せてみますか・・・・）
- 既存のストレージ鯖へ色々追加
- RED 3TBを２本追加
- SSD 1TBをキャッシュ用に追加
- iSCSI＋NFS向けセグメント用NIC追加
- メモリを32GB搭載する
- 専用にUPSを用意する（NICも追加）
- 既存のストレージ鯖のストレージの再構成
- RAID6＋HSでRAIDを再構成
- Cache用に1000GB以上のSSDを追加
- iSCSI周り
- バッキングデバイスを物理パーテーションを使用する（ここはVMwareしか使わない領域）
- バッキングデバイスをファイルの構成（バックアップ用領域。ZFSを使う。ここはVMwareから使えるようにするかも）
- 複数のNICを利用するように
- NFS周り
- iSCSIと同じ物理インターフェースを使用する
- VMware向けデータストアとしての使用はしない。（仮想マシンからのアクセスを想定）
- Samba周り
- 現行を踏襲するが、共有で使用するファイルシステムをZFSに（/Share/SMBディレクトリを使用）
- Netatalk周り
- 現行を踏襲するが、共有で使用するファイルシステムをZFSに（/Share/afpディレクトリを使用）
CentOSでiSCSIターゲットに挑戦してみる
我が家のストレージ鯖を綺麗さっぱり入れなおしたので、
改めてiSCSI ターゲットも設定しなおしてみました。
もちろん、こちらを参照させて頂きました！
先ずは、targetdのインストールから。
yumでインストールなんで楽勝ですｗ
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 |
[root@nas01 ~]# yum install scsi-target-utils 読み込んだプラグイン:fastestmirror, langpacks base | 3.6 kB 00:00 epel/x86_64/metalink | 5.4 kB 00:00 epel | 4.4 kB 00:00 extras | 3.4 kB 00:00 updates | 3.4 kB 00:00 epel/x86_64/primary_db | 3.9 MB 00:00 (1/2): epel/x86_64/updateinfo | 280 kB 00:00 (2/2): epel/x86_64/pkgtags | 1.3 MB 00:00 Loading mirror speeds from cached hostfile * base: ftp.tsukuba.wide.ad.jp * epel: ftp.tsukuba.wide.ad.jp * extras: ftp.tsukuba.wide.ad.jp * updates: ftp.tsukuba.wide.ad.jp 依存性の解決をしています --> トランザクションの確認を実行しています。 ---> パッケージ scsi-target-utils.x86_64 0:1.0.46-3.el7 を インストール --> 依存性の処理をしています: sg3_utils のパッケージ: scsi-target-utils-1.0.46-3.el7.x86_64 --> 依存性の処理をしています: perl(Config::General) のパッケージ: scsi-target-utils-1.0.46-3.el7.x86_64 --> トランザクションの確認を実行しています。 ---> パッケージ perl-Config-General.noarch 0:2.51-2.el7 を インストール ---> パッケージ sg3_utils.x86_64 0:1.37-5.el7 を インストール --> 依存性解決を終了しました。 依存性を解決しました ================================================================================ Package アーキテクチャー バージョン リポジトリー 容量 ================================================================================ インストール中: scsi-target-utils x86_64 1.0.46-3.el7 epel 204 k 依存性関連でのインストールをします: perl-Config-General noarch 2.51-2.el7 epel 71 k sg3_utils x86_64 1.37-5.el7 base 640 k トランザクションの要約 ================================================================================ インストール 1 パッケージ (+2 個の依存関係のパッケージ) 総ダウンロード容量: 915 k インストール容量: 2.3 M Is this ok [y/d/N]: y Downloading packages: (1/3): perl-Config-General-2.51-2.el7.noarch.rpm | 71 kB 00:00 (2/3): sg3_utils-1.37-5.el7.x86_64.rpm | 640 kB 00:00 (3/3): scsi-target-utils-1.0.46-3.el7.x86_64.rpm | 204 kB 00:00 -------------------------------------------------------------------------------- 合計 2.1 MB/s | 915 kB 00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction インストール中 : sg3_utils-1.37-5.el7.x86_64 1/3 インストール中 : perl-Config-General-2.51-2.el7.noarch 2/3 インストール中 : scsi-target-utils-1.0.46-3.el7.x86_64 3/3 検証中 : perl-Config-General-2.51-2.el7.noarch 1/3 検証中 : sg3_utils-1.37-5.el7.x86_64 2/3 検証中 : scsi-target-utils-1.0.46-3.el7.x86_64 3/3 インストール: scsi-target-utils.x86_64 0:1.0.46-3.el7 依存性関連をインストールしました: perl-Config-General.noarch 0:2.51-2.el7 sg3_utils.x86_64 0:1.37-5.el7 完了しました! [root@nas01 ~]# |
さて・・・設定していきましょう。
新ストレージ鯖のディスク構成はこんな感じなので、
今回は/dev/sda4と/dev/sda5をiSCSIで利用することにします。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
[root@nas01 conf.d]# gdisk -l /dev/sda GPT fdisk (gdisk) version 0.8.6 Partition table scan: MBR: protective BSD: not present APM: not present GPT: present Found valid GPT with protective MBR; using GPT. Disk /dev/sda: 17578119168 sectors, 8.2 TiB Logical sector size: 512 bytes Disk identifier (GUID): BA38A739-D6D8-42A0-B248-75EBF24FE472 Partition table holds up to 128 entries First usable sector is 34, last usable sector is 17578119134 Partitions will be aligned on 2048-sector boundaries Total free space is 2014 sectors (1007.0 KiB) Number Start (sector) End (sector) Size Code Name 1 2048 4294969343 2.0 TiB 8E00 Linux LVM 2 4294969344 8589936639 2.0 TiB 8E00 Linux LVM 3 8589936640 12884903935 2.0 TiB 8E00 Linux LVM 4 12884903936 17179871231 2.0 TiB 8E00 Linux LVM 5 17179871232 17578119134 189.9 GiB 8E00 Linux LVM [root@nas01 conf.d]# |
設定ファイルは、/etc/tgtディレクトリに入っています。
/etc/tgt/tgtd.confと/etc/tgt/target.confについては、触らなくて良いと思います。
/etc/tgt/conf.d/sample.confを参考に、
新たに/etc/tgt/conf.d/nas01.confを作成します。
良くわからなかったのが、バッキングストアとダイレクトストアの
違いですがGoogle先生に聞いてみた感じだと、こんな風だそうです。
| 名前 | 意味 | 例 |
| バッキングストア | ファイル ブロックデバイス |
/path/to/target.img （ddコマンドで、dd if=/dev/zero of=hoge.img bs=1k count=100見たいな感じで作ります） /dev/mapper/lvm_sample /dev/sda4 等々 |
| ダイレクトストア | ローカルの SCSI デバイス | /dev/sdd |
ウチはこんな感じで、バッキングデバイスとして構築してみました。
今回は諸々の事情で、LUNを2個用意することにしました。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
[root@nas01 conf.d]# cat nas01.conf # This is a sample config file for tgt-admin. # The files ending with '.conf' in this directory will be included. # # The "#" symbol disables the processing of a line. <target iqn.2015-02.org.admkazuya.nas01:nas01.sda4> backing-store /dev/sda4 backing-store /dev/sda5 initiator-address 10.250.1.0/24 write-cache off </target> #<target iqn.2015-02.org.admkazuya:nas01.sda4> # backing-store /dev/sda4 # initiator-address 10.250.1.0/24 # write-cache off #</target> [root@nas01 conf.d]# |
設定できたら、tgtdを起動して、起動できたかを確認します。
どうやら起動できたので、tgtdを自動起動するようにしておきます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
[root@nas01 conf.d]# systemctl start tgtd [root@nas01 conf.d]# systemctl status tgtd tgtd.service - tgtd iSCSI target daemon Loaded: loaded (/usr/lib/systemd/system/tgtd.service; disabled) Active: active (running) since 水 2015-02-11 09:38:19 JST; 6s ago Process: 6350 ExecStartPost=/usr/sbin/tgtadm --op update --mode sys --name State -v ready (code=exited, status=0/SUCCESS) Process: 6300 ExecStartPost=/usr/sbin/tgt-admin -e -c $TGTD_CONFIG (code=exited, status=0/SUCCESS) Process: 6298 ExecStartPost=/usr/sbin/tgtadm --op update --mode sys --name State -v offline (code=exited, status=0/SUCCESS) Process: 6296 ExecStartPost=/bin/sleep 5 (code=exited, status=0/SUCCESS) Main PID: 6295 (tgtd) CGroup: /system.slice/tgtd.service mq6295 /usr/sbin/tgtd -f 2月 11 09:38:14 nas01.admkazuya.org tgtd[6295]: librdmacm: Fatal: unable to... 2月 11 09:38:14 nas01.admkazuya.org tgtd[6295]: tgtd: iser_ib_init(3355) Fa... 2月 11 09:38:14 nas01.admkazuya.org tgtd[6295]: tgtd: work_timer_start(146)... 2月 11 09:38:14 nas01.admkazuya.org tgtd[6295]: tgtd: bs_init_signalfd(271)... 2月 11 09:38:14 nas01.admkazuya.org tgtd[6295]: tgtd: bs_init(390) use sign... 2月 11 09:38:19 nas01.admkazuya.org tgtd[6295]: tgtd: device_mgmt(246) sz:1... 2月 11 09:38:19 nas01.admkazuya.org tgtd[6295]: tgtd: bs_thread_open(412) 16 2月 11 09:38:19 nas01.admkazuya.org tgtd[6295]: tgtd: device_mgmt(246) sz:1... 2月 11 09:38:19 nas01.admkazuya.org tgtd[6295]: tgtd: bs_thread_open(412) 16 2月 11 09:38:19 nas01.admkazuya.org systemd[1]: Started tgtd iSCSI target d... Hint: Some lines were ellipsized, use -l to show in full. [root@nas01 conf.d]# systemctl enable tgtd ln -s '/usr/lib/systemd/system/tgtd.service' '/etc/systemd/system/multi-user.target.wants/tgtd.service' [root@nas01 conf.d]# |
では、iSCSI Targetとしてうまくいけてるかを見てみましょう。
ちゃんとLUN1とLUN2がDiskとして見えてますね。
（LUN0は必ずコントローラーに見えますので、ご注意を）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
[root@nas01 conf.d]# tgtadm --lld iscsi --op show --mode target Target 1: iqn.2015-02.org.admkazuya.nas01:nas01.sda4 System information: Driver: iscsi State: ready I_T nexus information: LUN information: LUN: 0 Type: controller SCSI ID: IET 00010000 SCSI SN: beaf10 Size: 0 MB, Block size: 1 Online: Yes Removable media: No Prevent removal: No Readonly: No SWP: No Thin-provisioning: No Backing store type: null Backing store path: None Backing store flags: LUN: 1 Type: disk SCSI ID: IET 00010001 SCSI SN: beaf11 Size: 2199023 MB, Block size: 512 Online: Yes Removable media: No Prevent removal: No Readonly: No SWP: No Thin-provisioning: No Backing store type: rdwr Backing store path: /dev/sda4 Backing store flags: LUN: 2 Type: disk SCSI ID: IET 00010002 SCSI SN: beaf12 Size: 203903 MB, Block size: 512 Online: Yes Removable media: No Prevent removal: No Readonly: No SWP: No Thin-provisioning: No Backing store type: rdwr Backing store path: /dev/sda5 Backing store flags: Account information: ACL information: 10.250.1.0/24 [root@nas01 conf.d]# |
さ・・・後は、イニシエーター側から見えるかですが、それは後程。
結局Storage鯖は・・・・・
Storage用の鯖については、色々試しましたが・・・・・・
どれも一長一短。
ので、CentOS7をスッキリ入れなおすことにしました。
という訳で、やらせたい事なんぞを。
- Active Directory下でのSMBファイル共有
- Active Directory下でのAFSファイル共有
- 仮想化環境向けのiscsi target
- クラウドへのバックアップ
さて・・・色々仕掛けます。
- ntpdateで毎日時間チェック（宅内鯖宛）
/etc/cron.dailyディレクトリにちゃかちゃかっとコマンド吐くシェルを置きましょう - epelリポジトリの追加
（ウチはepelを追加で入れてますので。理由は余りありませんがｗ） -
定番のnmonを入れておきましょう。
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849[root@nas01 work]# yum -y install nmon読み込んだプラグイン:fastestmirror, langpacksLoading mirror speeds from cached hostfile* base: ftp.tsukuba.wide.ad.jp* epel: ftp.kddilabs.jp* extras: ftp.tsukuba.wide.ad.jp* updates: ftp.tsukuba.wide.ad.jp依存性の解決をしています--> トランザクションの確認を実行しています。---> パッケージ nmon.x86_64 0:14i-8.el7 を インストール--> 依存性解決を終了しました。依存性を解決しました=========================================================================================================================================Package アーキテクチャー バージョン リポジトリー 容量=========================================================================================================================================インストール中:nmon x86_64 14i-8.el7 epel 56 kトランザクションの要約=========================================================================================================================================インストール 1 パッケージ総ダウンロード容量: 56 kインストール容量: 123 kDownloading packages:警告: /var/cache/yum/x86_64/7/epel/packages/nmon-14i-8.el7.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID 352c64e5: NOKEY:--:-- ETAnmon-14i-8.el7.x86_64.rpm の公開鍵がインストールされていませんnmon-14i-8.el7.x86_64.rpm | 56 kB 00:00:15file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 から鍵を取得中です。Importing GPG key 0x352C64E5:Userid : "Fedora EPEL (7) <epel@fedoraproject.org>"Fingerprint: 91e9 7d7c 4a5e 96f1 7f3e 888f 6a2f aea2 352c 64e5Package : epel-release-7-5.noarch (installed)From : /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7Running transaction checkRunning transaction testTransaction test succeededRunning transaction警告: RPMDB は yum 以外で変更されました。インストール中 : nmon-14i-8.el7.x86_64 1/1検証中 : nmon-14i-8.el7.x86_64 1/1インストール:nmon.x86_64 0:14i-8.el7完了しました![root@nas01 work]#
- MegaRAID諸々を入れます（ハードウェアRAIDカードもリプレースしたので）
- Samba4に挑戦。
- netatalkに挑戦
- iscsi targetdに挑戦
- クラウドへのバックアップ（Google Drive宛）に挑戦
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
[root@nas01 work]# rpm -ivh http://ftp.riken.jp/Linux/fedora/epel/7/x86_64/e/epel-release-7-5.noarch.rpm http://ftp.riken.jp/Linux/fedora/epel/7/x86_64/e/epel-release-7-5.noarch.rpm を取得中 警告: /var/tmp/rpm-tmp.MVrsMR: ヘッダー V3 RSA/SHA256 Signature、鍵 ID 352c64e5: NOKEY 準備しています... ################################# [100%] 更新中 / インストール中... 1:epel-release-7-5 ################################# [100%] [root@nas01 work]# yum -y update epel-release 読み込んだプラグイン:fastestmirror, langpacks epel/x86_64/metalink | 6.1 kB 00:00:00 epel | 4.4 kB 00:00:00 (1/2): epel/x86_64/group_gz | 250 kB 00:00:15 (2/2): epel/x86_64/primary_db | 3.9 MB 00:00:15 (1/2): epel/x86_64/updateinfo | 277 kB 00:00:15 (2/2): epel/x86_64/pkgtags | 1.3 MB 00:00:15 Loading mirror speeds from cached hostfile * base: ftp.tsukuba.wide.ad.jp * epel: ftp.tsukuba.wide.ad.jp * extras: ftp.tsukuba.wide.ad.jp * updates: ftp.tsukuba.wide.ad.jp No packages marked for update [root@nas01 work]# |
以下、追記予定。
さて・・・ボチボチ構築して行きますかね〜
iSCSI Performance issue
tgtd色々
色々あって、tgtdは再起動出来ないけど、動的に消したい場合・・・・
こんな感じに、一気にやります。
（こうしないと、再接続しやがりましたｗ）
|
1 2 3 4 |
tgtadm --op delete --mode conn --tid 2 --sid 19 --cid 0 tgtadm --op delete --mode conn --tid 2 --sid 20 --cid 0 tgtadm --op delete --mode conn --tid 2 --sid 21 --cid 0 tgtadm --op delete --mode target --tid 2 |
で、新たに追加するわけですが、諸々の事情からこんな風にしたいと思っています。
・バッキングストアは空のファイル（10GB*3個＋100GB*10個）
・10GB+100GB+100GBの組み合わせを1セットにしたい
そんな時は、こうしましょう。
1行目はコントローラー作成。
2行目～4行目はLUN追加
5行目は何処からのアクセスを許可するか。
|
1 2 3 4 5 |
tgtadm --lld iscsi --op new --mode target --tid 2 --targetname iqn.2014-11.org.admkazuya:balthasar.wsfc01 tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 1 --backing-store /external/iscsi_devices/quorum01.img tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 2 --backing-store /external/iscsi_devices/share01.img tgtadm --lld iscsi --op new --mode logicalunit --tid 2 --lun 3 --backing-store /external/iscsi_devices/share02.img tgtadm --lld iscsi --op bind --mode=target --tid=2 --initiator-address=192.168.3.0/24 |
後は、使いたい鯖からごにょごにょすればおｋｗ
NIC交換後のiSCSIについて
効果バツグン！
やっぱしServerAdapterに替えよう。
iSCSIでガリガリアクセスしたら・・・
巷ではiSCSIはオーバーヘッドがデカイと申しますが・・・・
Windows Server 2012インストール中の一コマ。
なんじゃこりゃー
CPU挿げ替えかなぁ・・・
と、いうわけで・・・・
余ってたIntelのNIC（Desktop Adapter）をぶっ刺してみたところ
レイテンシーが10倍向上しましたとさ（ちゃんちゃん）