Преамбула: Не было у бабы заботы, купила баба … HP Microserver Gen8. 🙂
В работе был старенький, но надежный, HP Microserver N40L. В работе с 2012 года, в режиме 24/7. Работал под управлением ESXi 5.1. Крутилось на нем парочка серверов 2003R2 (DNS и WEB). Этакая «инкапсуляция опасных направлений». Просто, отдельно стоящий, информационный web-серверок. Если «взломают» легко и быстро поднять из резервной копии и перезапустить. В общую сеть этот сервер, не смотрел, а подключался только на время обновлений контента. Но время шло и серверок … «устал».
Захотелось и DNS и WEB запустить, хотя бы, на Windows Server 2008R2, а, в идеале, на Windows Server 2012R2. И стал N40L тормозить. Аппаратных ресурсов у N40L маловато. Процессор AMD Turion (™) II с частотой 1.5 GHz с архитектурой 2/2 и памяти больше 8 GB не поставить.
Понимаю, что и HP Microserver Gen8 не панацея, но памяти можно поставить 16GB, а процессор взять, например, Intel® Xeon® E3-1220l, c частотой 2.3/3.5 GHz, с архитектурой 2/4 и сверхнизким энергопотреблением (примерно 17-20Вт). Если денег не жалко, то можно поставить, например, Intel® Xeon® E3-1270 с частотой 3.4/4.1 GHz, с архитектурой 4/8. Но тут уже не стоит удивляться тому, что сам процессор стоит примерно в 1.5 раза дороже всего микро сервера :-).
HP Microserver Gen8 это последний из микро серверов от HP в котором
- можно производить апгрейд
- есть iLO, что, согласитесь, очень удобно.
К сожалению, Gen9 так и не увидел свет, а свежий Gen10 это … почитайте о нем сами и все поймете 🙂
HP Microserver Gen8 уже не выпускается, но купить еще можно. Что и было сделано. Был куплен абсолютно нулёвый Gen8 (G2020T) на AVITO 🙂 . Установил на него, с кастомного имиджа HPE, гипервизор ESXi 5.5U3. И все.
Нет, не все. Именно с этого места начинается самое интересное.
Установлено: VMware-ESXi-5.5.0-Update3-3568722-HPE-550.9.6.5.9-Dec2016.iso
Версия драйвера дисков: — scsi-hpvsa-5.5.0.100-1OEM.550.0.0.1331820
Как выяснилось, HP что-то испортили в драйвере дисковой подсистемы для ESXi 5.5 и работа с дисками стала … скажем так, не очень эффективной. Более того, как выяснилось позже, такая же проблема существует и в гипервизорах ESXi 6.0/6.5 от HPE.
Насколько не эффективно? Результаты замеров в статье. Сразу скажу – оглушающие.
Пообщавшись со знакомыми и покопав Интернет было выяснено, что всему виной и правда, драйвер, который HPE включила в свой кастомный образ с установщиком гипервизора ESXi 5.5 и более поздних версий.
Но, решение этой проблемы есть. Совместными усилиями Интернет-сообщества (https://homeservershow.com) был найден драйвер, который реально ускоряет работу с дисками в HP Microserver Gen8.
Версия драйвера: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820
Сам драйвер можно легально, бесплатно и без регистрации, скачать c сайта HPE:
https://support.hpe.com/hpsc/swd/…b1dfc5314e02bc01b1436b
Type: Driver — Storage Controller
Version: 5.5.0-88.0(9 Sep 2014)
Operating System(s): VMware vSphere 5.5
File name: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib (707 KB)
Осталось его установить. Как это сделать, описано ниже.
В первую очередь проверяем версию установленного драйвера и, если отличается, то заменяем на правильный.
А) Заходим в консоль ESXi хоста через PuTTY под именем root и запускаем команду
esxcli software vib list | grep scsi
Вот, что было у меня до смены драйвера
~ # esxcli software vib list | grep scsi
scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0.100-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
То есть. Не тот. Почему? А вот, что показал тест производительности. Не то чтобы тест, но из приведенных команд видно, что тестируется.
Выполняем следующие команды из консоли ESXI:
cd /vmfs/volumes/[datastore]
time dd if=/dev/zero of=tempfile bs=8k count=1000000
Получаем результат:
1000000+0 records in
1000000+0 records out
real 14m 12.62s
user 0m 12.23s
sys 0m 0.00s
Вроде бы не плохо, да?
Для сравнения, в той же конфигурации, но с установленным, ESXi 5.1U3 получаем примерно следующее:
1000000+0 records in
1000000+0 records out
real 17m 25.62s
user 0m 7.23s
sys 0m 0.00s
То есть, налицо видимое улучшение по сравнению с предыдущей версией гипервизора. Но, вам придется поверить мне на слово, а потом посмотреть на совсем другой результат. Дочитайте до конца.
Итак, приступаем к смене драйвера.
Процедура достаточно простая. Предполагается, что нужный драйвер Вы уже скачали с сайта HP, по приведенный ранее ссылке.
- Останавливаем все запущенные VMs
- Если не включено, включаем ssh
- Копируем файл «scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib» to /tmp (например, с помощью WinSCP)
- Подключаемся к консоли гипервизора ESXi с помощью PuTTY (с правами root, естественно)
- Меняем текущую папку на ту, куда положили файл, то есть на папку /tmp
cd /tmp
- Копируем vib-файл в папку из которой он будет инсталлирован
cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
- Переводим гипервизор в Maintenance Mode
esxcli system maintenanceMode set --enable true
- Удаляем текущий драйвер дисковой подсистемы
esxcli software vib remove -n scsi-hpvsa -f
- Инсталлируем правильный драйвер scsi-hpvsa-5.5.0-88OEM из файла
esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode
- Перезапускаем ESXi, отключаем Maintenance Mode, запрещаем ssh (если нужно) и запускаем свои виртуальные машинки.
esxcli system maintenanceMode set --enable false
Все просто? Да, просто.
Но ведь всегда хочется убедиться, что автор не наврал.
Проверяем, что версия драйвера изменилась.
esxcli software vib list | grep scsi
scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0-88OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
Да. Изменилась на правильную.
А скорость? Не обманули? Проверяем! Что я и сам сделал. Запустил, повторно, тест производительности. Результат меня, мягко говоря, ошеломил
cd /vmfs/volumes/[datastore]
time dd if=/dev/zero of=tempfile bs=8k count=1000000
1000000+0 records in
1000000+0 records out
real 2m 6.73s
user 0m 5.21s
sys 0m 0.00s
Это в СЕМЬ раз быстрее, чем с предыдущим драйвером и почти в 9 раз быстрее чем на ESXI 5.1U3
На форуме пользователи подтвердили, что примерно такой же, не правильный, драйвер устанавливается и при инсталляции ESXi 6.0 и 6.5. И замена его на версию scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820 приводит к такому же ускорению работы дисковой подсистемы.
Занавес! По-моему — это более чем убедительный аргумент в пользу замены драйвера.
1000000+0 records in
1000000+0 records out
real 0m 46.42s
user 0m 6.91s
sys 0m 0.00s
На какой конфигурации железа, напиши, пожалуйста.
HP DL 360p Gen8
Стоит 6.5up1 с образа от НРЕ
scsi-hpvsa 5.5.0.102-1OEM.550.0.0.1331820 — єто «норм» драйвер или фигня и надо обновить?
RAID10 из 4x SAS 10k
1000000+0 records in
1000000+0 records out
real 0m 41.58s
user 0m 10.67s
sys 0m 0.00s
Мы поговорили с itpro и пришли к выводу, что, скорее всего, эта проблема касается только SOHO серверов от HP. И проблема не столько в драйвере, сколько в сочетании драйвер-контроллер.
Как вариант, проблема возникает когда работа идет черезх AHCI контроллер.
В случае серверов Enterprise уровня, данный драйвер попросту не задействоан в работе.
В описанно в статье примере рассматривается HP Microsever Gen8 с «типа» raid-контроллеров B120i, что полностью совпоадает с нашим предположением.
Доброго времени суток всем.
Пользовал Xen, ESXi, Hyper-V. Перешел на Proxmox VE (KVM). Открыто, удобно (управление через веб-фейс), поддержка кластеризации, автобэкапов, ZFS сразу из коробки.
Продукт активно развивается. Попробуйте и вам не захочется чего-то другого — https://www.proxmox.com/en/proxmox-ve
P.s. А в кач-ве firewall уже лет 8 пользую pfsense. Также рекомендую.
Немного how to по Proxmox, pfsense, ZFS etc. — https://forum.pfsense.org/index.php?topic=136398.0
P.p.s. В случае использования Proxmox и брендового железа с аппаратным рейдом рекомендую не использовать железный рейд, а перейти на программный ZFS RAID. Получается крайне надежно и baremetal. Даже если выйдет из строя мат. плата — с программным ZFS RAID это не страшно. Просто подключите hdd на др. матплату и всё. Если же будет использоваться hw raid, то без такой же матплаты\контроллера (с такой же firmware) ничего не выйдет и данные будут потеряны.
Звучит красиво, спасибо за ссылки
Но … предпочту, пока, остаться на vSphere/ESXi
vMware это признанный мировой лидер в сфере виртуализации.
Да и недолюбливаю Open Source.
Добрый.
Вау. Первый раз такую глупость слышу от it-ка 🙁
Тогда прийдется вам отказаться от Интернета, смартфона на Андроиде и т.д. Ведь в них (о, ужас!) — опен сурс.
P.s. Откройте любую приличную вакансию на том же hh. Везде требования — опыт работы с linux. Просыпайтесь. 2018-ый год на дворе.
Хамить не надо, гражданин.
Есть игрушки.
Есть корпоративные инфраструктуры.
Есть, правда, упертые бараны которые пытаются посадить офисы на Linux и Open Office..
Которых недалекие менеджеры нанимают на hh.ru. Потом правда платят еще раз за разгребание косяков «опенсорсника». Приходилось такое делать несколько раз в жизни. Пример не с потолка.
Со всеми вытекающими гиморами.
Приводить Андроид в пример. Не плохо. Вы все еще в игрушки на телефоне играетесь?
Вот вы пишете «Пользовал Xen, ESXi, Hyper-V. Перешел на Proxmox VE (KVM).»
— Как долго?
— Количество хостов/виртуалок?
Тяжесть приложений на виртуалках?
Количество сотрудников в офисе/офисах?
Или вы «погставил-посмотрел-не понял» — значит «не то», так «пользовали»
Студенты и «продвинутые дети» как же вы достали 🙂
Гонора вагон, опыта ноль — «мне говорили» и «я слышал». от таких же
Так что идите лобратно в ВК и там «гните пальцы» 🙂
https://www.virtualizationhowto.com/2018/04/vmware-vcsa-6-7-new-features-installation-and-configuration/
Жуть. Перешли на html 5 (почти, ага). И шедулер добавили для бэкапов, но только для платного (!) vcenter. «Счастье», ага.
А между тем «нелюбимый» опенсурс уж 2-й год на html 5 и бэкапы по расписанию в кучу хранилищ на выбор из коробки сразу и (ужыс!) бесплатно (!)
Рекомендую вам, когда наберетесь достаточно опыта, устроится на работу в серьезную фирму, а не в «контору» где весь софт либо краденый, либо опенсорсный 🙂
Тогда и платность профессионального ПО и оборудования не будет «такой страшной». Только постарайтесь набраться опыта работы с профессиональными, а не игрушечными, программными и аппаратными решениями.
Кстати на вопросы вы так и не ответили. Вам бы не «понторезить», по-глупому, а еще учиться и учиться. 🙂
Все проверки. которые делались, кажутся мне не совсем правильными.
Потестируйте скорость работы с именно с SSD диском.
А результаты киньте сюда.
Спасибо.