Не так давно, мне удалось поработать с новыми для меня серверами Supermicro удаленное управление которыми осуществляется с помощью интерфейса IPMI. В данной статье я постараюсь раскрыть основные моменты в настройки IPMI на серверах Supermciro, покажу основные пункты меню интерфейса IPMI, а также расскажу о дополнительных утилитах, командах и способах мониторинга сервера с помощью ipmi.
Первичная настройка IPMI консоли и знакомство с интерфейсом
Настройка IPMI начинается с настройки IP адреса интерфейса, который нужно указать в BIOS. Если сервер установлен в офисе, это может быть серый IP-адрес, если же ваше оборудование размещается в ДатаЦентре, то наверняка вы используете белый статический IP-адрес.
На серверах Supermicro в BIOS можно попасть, нажав кнопку “Del” при загрузке сервера, я не буду заострять на этом внимание и сразу перейду к интерфейсу самого BIOS.
Как видите на скриншоте, я вошел в пункт меню IPMI и активировал возможность конфигурации Lan для интерфейса (Update IPMI Lan Configuration=Yes, Configuration Address Source = Static), указал IP-адрес, маску подсети и основной шлюз.
Применить настройки можно нажав кнопку F4, после чего произойдет перезагрузка сервера.
Если вы все сделали правильно, то введя в браузере, указанный для интерфейса IPMI IP, у вас откроется авторизация:
Теперь пройдем по основным моментам.
При покупке нового сервера, в IPMI уже создан пользователь ADMIN с паролем ADMIN, именно с этими данными мы и авторизуемся. Я всегда рекомендую создавать нового пользователя, а стандартного удалять или менять у него пароль, так оставлять такой логин и пароль, крайне небезопасно. Создать нового пользователя или поменять пароли/привилегии у текущих, можно в меню Configuration -> Users.
Рестарт интерфейса IPMI можно сделать из меню Maintenance -> Unit Reset.
Монтирование iso образа ОС для установки на сервер выполняется в меню Virtual Media -> CD-ROM Image.
У меня iso образы ОС хранятся на сервере Samba в той же подсети что и интерфейсы IPMI серверов. Я указываю адрес сервера Samba, путь к образу установочному ISO с ОС, после чего монтирую ISO образ и приступаю к установке операционной системы.
Удаленную графическую Java консоль сервера (KVM-over-IP) можно открыть через Remote Control -> Console Redirection.
Консоль в целом удобная, но после установки ОС, для работы с сервером я обычно использую ssh клиенты. Иногда есть моменты когда, это невозможно, например если у вас не работает или еще не настроена сеть на сервере или же имеются какие-то проблемы с доступом. Именно тогда на помощь и приходит Remote Console.
Никаких отдельных настроек в самой консоли делать не нужно, хочу лишь добавить, что она имеет встроенную клавиатуру, которую можно вызывать из меню Virtual Media -> Virtual Keyboard.
grubby --args "nomodeset" --update-kernel /boot/vmlinuz-`uname -r`
После этого, Remote Console работает исправно.
Управление сервером через утилиту IPMICFG от SuperMicro
Для управления серверами через IPMI компания SuperMicro разрабатывает собственную утилиту IPMICFG.
Скачать файл IPMICFG можно с помощью команды:
wget ftp://ftp.supermicro.com/utility/IPMICFG/IPMICFG_1.30.0_build.190710.zip
На момент публикации файл был с таким названием, я рекомендую заходить на репозиторий SuperMicro по ссылке ftp://ftp.supermicro.com/utility/IPMICFG/ и копировать url актуального файла.
Распакуем скачанный файл в директорию которой находимся:
unzip IPMI*.zip
Далее создаем символическую ссылку для удобства запуска утилиты:
ln -s /root/IPMI*/Linux/64bit/IPMICFG-Linux.x86_64 /usr/local/sbin/ipmicfg
Теперь мы можем запускать утилиту с помощью команды
ipmicfg
(символической ссылки). Рассмотрим базовые возможности утилиты ipmicfg.
Если выполнить команду
ipmicfg -help
мы получим список всех возможных параметров утилиты.
Разберем основные команды:
-
ipmicfg -help
– полная справка по утилите; -
ipmicfg -m
– просмотр текущего IP и mac-адреса для IPMI; -
ipmicfg -k
— просмотр маски подсети; -
ipmicfg -g
– просмотр заданного шлюза; -
ipmicfg -fd
— сброс IPMI к заводским настройкам; -
ipmicfg -user list
– просмотр созданных пользователей и их привилегий.
Вы можете изменить IP адрес, маску и шлюз интерфейса IPMI:
-
ipmicfg -m 192.168.1.200
-
ipmicfg -k 255.255.255.0
-
ipmicfg -g 192.168.1.1
Создать нового пользователя IPMI и его пароль:
ipmicfg -user add <user id> <name> <password> <privilege>
С помощью утилиты делаем следующее:
ipmicfg -user add 6 test 123456 4
Тем самым мы создали пользователя test с паролем 123456 и привилегиями администратора.
Список пользователей IPMI и их привилегии в системе можно вывести командами:
-
ipmicfg -user list
-
ipmicfg -user help
Как уже видите на скриншоте, пользователь test создан.
Чтобы изменит (сбросить) пароль пользователя IPMI, исползайте команду:
ipmicfg -user setpwd
И приведу еще пару примеров использование данной утилиты:
-
ipmicfg -hostname [value]
— задать hostname для ipmi интерфейса; -
ipmicfg -r
— перезагрузка IPMI.
Мониторинг железа на сервере SuperMicro через IPMI и утилиту IPMICFG
Мониторинг сервера SuperMicro через IPMI
Через IPMI мониторить температуру и работу железа сервера SuperMicro довольно просто. Полная информация о железе сервера содержится в пункте System -> Hardware Information.
Информацию по состоянию процессора, оперативной памяти и вентиляторах, можно посмотреть перейдя во вкладку Server Health -> Sensor Readings.
Для удобства просмотра, можно менять категории отображения датчиков, например, температуры:
Или датчики напряжения:
Так как в данный момент на нашем сервере нет проблем, ни с температурой, ни с напряжением, все датчики находятся в зеленой зоне. Если на сервере поднимается температура или есть проблемы с напряжением, зеленые прямоугольники будут окрашиваться в красный цвет, что послужит сигналом для проверки вашего сервера.
Мониторинг с помощью утилиты ipmicfg
Проверка состояния блоков питания:
[root@ ~]# ipmicfg -pminfo
[SlaveAddress = 78h] [Module 1] Item | Value ---- | ----- Status | [STATUS OK] (00h) Input Voltage | 217.5 V Input Current | 1.06 A Main Output Voltage | 12.28 V Main Output Current | 17.93 A Temperature 1 | 23C/73F Temperature 2 | 21C/70F Fan 1 | 2064 RPM Fan 2 | 2032 RPM Main Output Power | 220 W Input Power | 228 W PMBus Revision | 0x22 PWS Serial Number | P2K4FCH02LT0125 PWS Module Number | PWS-2K04F-1R PWS Revision | REV1.0 Current Sharing Control | PEC error [SlaveAddress = 7Ah] [Module 2] Item | Value ---- | ----- Status | [STATUS OK] (00h) Input Voltage | 217.5 V Input Current | 1.09 A Main Output Voltage | 12.30 V Main Output Current | 18.09 A Temperature 1 | 24C/75F Temperature 2 | 22C/72F Fan 1 | 2064 RPM Fan 2 | 2064 RPM Main Output Power | 223 W Input Power | 234 W PMBus Revision | 0x22 PWS Serial Number | P2K4FCH02LT0126 PWS Module Number | PWS-2K04F-1R PWS Revision | REV1.0 Current Sharing Control | PEC error
Посмотреть температуру процессора можно командой:
ipmicfg -nm oemgettemp
Так же можно проверить в каком режиме работают вентиляторы и изменить режим, если это необходимо.
Проверка состояния и конфигурации вентилятора
[root@~]# ipmicfg -fan
Current Fan Speed Mode is [ PUE2 Optimal Mode ] Supported Fan modes: 0:Standard 1:Full 3:PUE2 Optimal 4:Heavy IO
Изменение режима работы кулера:
ipmicfg -fan <mode>
Например,
ipmicfg -fan 3
Информация о версии и прошивке IPMI:
[root@~]# ipmicfg -nm deviceid
Device ID = 50h Firmware Version = 4.1.4.54 IPMI Version = 2.000000 Manufacturer ID = 57 01 00 Product ID Minor Ver = Greenlow platform Implemented DCMI version = DCMI not implemented/enabled Firmware implemented version = NM Revision 4.0 Image Flag = operational image 1 raw = 50 01 04 14 02 21 57 01 00 09 0b 04 05 40 01
И посмотреть все сенсоры можно командой
ipmicfg -sdr
При выводе мы видим, что есть дополнительные столбцы, в которых отображена информация о лимитах нижнего и верхнего пределов.
Так же существует еще не малое количество утилит, которые можно использовать для мониторинга и автоматизировать этот процесс, например, с nagios. В данный момент заострять на этом внимание мы не будем, так как цель статьи рассказать основные моменты в работе с IPMI. Если вас заинтересует тема мониторинга, вы можете оставить свои пожелания и возможно в дальнейшем мы осветим и эту тему. Надеюсь, данная статья окажется для вас полезной!
Лучше расскажите — как подключить IPMI SuperMicr-ы к SCOM 🙂
Еще есть такая полезная программа
https://www.supermicro.com/en/solutions/management-software/supermicro-server-manager
PS
Есть плагин для SCOM
Если не изменяет память, чтобы по полной воспользоваться данным софтом, нужна лицензия на каждый сервер.
Совсем просто расскажите как прошить bios и ipmi.
Насколько я помню, для обновления BIOS через IPMI нужно иметь ключ лицензии (видел в сети генератор).
Обновление IPMI прошивки через веб-интерфейс: -> Firmware updat — заливаете bin прошивку и щелкаете Upload Firmware. Прошивается без простоя сервера, только перезапуск IPMI
Вот генератор
https://peterkleissner.com/2018/05/27/reverse-engineering-supermicro-ipmi
Прошить BIOS можно с флешки, сам процесс можно выполнять через IPMI, но когда выполняете такого рода работы, я всегда за то, чтобы находится рядом с сервером. Процедура много времени не занимает.
Хотел бы добавить, что есть клиент IPMI для Android: SupermicroIPMIView:
https://play.google.com/store/apps/details?id=com.smc.smcipmitool&hl=ru
Работает. Как-то перезагружал с телефона зависший сервер по питанию.
Спасибо, не знал 🙂
Подключаю сервер supermicro к cisco 2960 свитчу (не к ipmi порту а к обычной сетевухе) — нет линка!!!
Подключаю сервер supermicro к DLink DES 1008 свитчу (не к ipmi порту а к обычной сетевухе) — нет линка!!!
Подключаю сервер supermicro к DLink DGS 110018 свитчу (не к ipmi порту а к обычной сетевухе) — есть линк!!!
на cisco 2960 два vlan (пробовал в оба) — думал в этом проблема, но почему тогда не работает через обычный тупой DES 1008???
В чем прикол???
Там линк только на гигабит поднимается
IPMI LAN Setting
In the IPMI LAN Setting, you can set MAC, IP, Gateway and Subnet mask. For IP address type, there are
Static IP and DHCP type.
For VLAN setting, you can enable or disable VLAN tagging. Please specify VLAN tag once you enable
VLAN Tagging.
Default User Account Setting
This function is for setting default user name and password. it is useful once you lost your user name and
password.
Reset
разобрался нужен гигабитный роутер!!!
Добрый день. Сервера подключены к cisco 2960 работает без проблем. У вас сетка не поднималась? Состояние порта при этом какое было на коммутаторе и сервере?
Может кому-то будет полезно. Нашли способ активации лицензии в IPMI. Нужно скопировать «BMC MAC Address» на главной странице «System» и вставить в первый блок на сайте https://cryptii.com/pipes/QiZmdA заменим при этом двоеточие на пробел. В блоке HMAC выбираем SHA-1 и получаем ключ в третьем блоке. Для себя забираем первые 6 блочков по 4-е символа и вуаля)
Спасибо, до сих пор работает.
Ещё бы знать для чего эта лицензия нужна)
Сегодня для одного из серверов активировал лицензию для обновления BIOS. Активировалась!
Теперь вот нужен сертификат для IPMI
Уточняю — благодаря Вашему сайту и работающей ссылки на https://cryptii.com/pipes/QiZmdA
работает
похоже ссылка на фтп протухла…
Да, ftp ссылка не работает. Не понятно, заработает ли она…
Пока для загрузки ipmicfg пользуйтесь _https://www.supermicro.com/SwDownload/SwSelect_Free.aspx?cat=IPMI
Спасибо за полезную статью, а утилитку
нужно запускать с сервера на котором настраиваем ipmi или можно с любого компьютера в этой же локалке?
ipmicfg работает локально. По крайней мере я не нашел параметров для удаленного подключения.
Здравствуйте.
Можно ли через IPMI настроить режим работы вентиляторов на автоматическое переключение ночью на 1.FULL и утром автоматически на 4:Heavy IO?
т.е вечером с 21:00 до 07:00 и с 08:00 до 20:50 на 4:Heavy IO
Можете подсказать такой момент, возможно ли сделать скрипт автовключения сервера по расписанию. Увы в BIOS такой функции не нашел, хотя автовключение при сбое питания все же присутствует.
Вопрос до достоверности данных с IPMI.
Взял в Zabbix с сервера НР iLO температуру окружающей среды по SNMP vs IPMI, стабильная разница в 3 градуса Цельсия.
Кому из них верить?
Может вы с разных датчиков получаете инфу? в ilo там с десяток сенсоров температуры с разных девайвов доступно.
Тот самый датчик Ambient, он один и там и там. Видно что температурные графики SNMP и IPMI повторяют друг друга один в один, но со смещением на 3 градуса.
https://www.supermicro.com/SwDownload/SwSelect_Free.aspx?cat=IPMI Получается скачать кнопка не работает!??
подскажите где можно найти ключ для активации ipmi на IBM System x3650 M4 ?
я имею ввиду удаленное управление