?

Log in

No account? Create an account

Файлер на ZFS для облачной инфраструктуры.
Hostkey - хостинг-провайдер
hostkey

В прошлую пятницу мы рассказывали об опыте с развертыванием 180 ВПС посредством SolusVM, который нам всем понравился за исключением отсутствия тонкого распределения ресурсов.
Но, к сожалению, именно последний момент был нам крайне важен для обеспечения бесперерывного обслуживания кластера как на базе KVM с Linux, так и на Hyper-V Windows Server 2012. Кроме того, давно хотелось организовать выдачу высокоскоростных таргетов нашим клиентам для организации частных облаков и кластеров.
Имея в прошлом не слишком удачный опыт работы со Starwind,  мы обратилсь к решению nexentaStor от компании Nexenta, известную своей удачной реализацией файлеров на базе ZFS.
Для реализации задуманного по спецификации Nexenta мы собрали сервер на базе платформы специализированного файлера Supermicro, восьмиядерной 2xXeon E5620 со 196Гб памяти на борту, оснащенной 36 дисками по 300Gb SAS 15K Seagate Cheetah и нескольких HBA адаптеров LSI типа 9211-8i + еще одного HBA адаптера для подключения внешних дисковых DAS полок.

По спецификации Nexenta в качестве кэша был задействован SSD носитель серверного класса Intel series 710 на 300Gb, в качестве расходного материала для хранения логов использовались два SSD диска по 64Гб, пришлось создать специальную корзинку для них. Кроме этого машина была снабжена платой Intel на два 10Г интерфейса SFP+.
В качестве опорного коммутатора был выбран Extreme Summit, вниз на гигабит сеть спускается через Cisco Catalyst 2960S-24TD-L.



Все диски собраны в пул RAID Z1 по 3 штуки с парой запасных, что обеспечивает крайнюю надежность при высокой скорости системы, обеспеченную ZFS – более 10 тысяч IOPS при работе с диском.

Для обеспечения сохранности данных был собран дополнительный архивный сервер из 15 дисков по 3Тб базе Solaris.  На него бэкапятся все наши виртуальные машины, конфиги, а так же все пользовательские таргеты. Там же можно хранить и важные снапшоты.  Для удобства доступа к архивному файлеру организован сервер приложений, который позволяет работать с ним по протоколам FTP, WebDAV, rsync, scp и http. Но это тема для отдельной статьи.
Как уже говорилось, целью проекта было не только обслуживание наших кластеров, но и создание общего высокоскоростного файлера для всех клиентов, размещенных в его ЦОДе, доступного по 1G и 10G Ethernet посредством iSCSI, SMB или NFS.
Мы заметили, что клиенты, которые арендуют мощные сервера, часто берут отдельный сервер в качестве файлера, либо просто используют серверы с большим количеством дисков. Наша идея заключалась в том, чтобы предоставить им альтернативный вариант – использовать общий файлер с оплатой по фактическому использованию, а не за сервер, с бесплатным доступом по гигабитной инфраструктуре. Цены хотели ограничить в районе 15 рублей за Гигабайт, плюс сделать платной инфраструктуру 10Гбит, однако сейчас бы хотелось предложить возможность бесплатного тестирования файлера всем желающим. Надеемся, вы поможете нам опробовать его как можно скорее.
Для участия – пишите здесь или в почту ulp@hostkey.ru