Серверы для ИИ на базе «Гравитон»: когда нужен GPU-сервер и чем он отличается от обычного

Компания запускает локального ассистента по внутренним документам. На пилотном проекте все выглядит спокойно. Несколько сотрудников задают вопросы, база небольшая, обычный сервер справляется.

Потом к сервису подключают поддержку, инженеров, пресейл или разработку. Документов становится больше, появляются очереди запросов, растут требования к скорости ответа. В этот момент сервер уже нельзя воспринимать как тестовую машину под эксперимент. Его приходится считать частью инфраструктуры.

Перед подбором GPU-сервера сначала уточняют несколько вещей:

• сколько пользователей будут обращаться к сервису одновременно;
• где лежат документы и как часто они обновляются;
• какая задержка ответа допустима;
• есть ли видеопотоки или обработка изображений;
• что изменится через несколько месяцев после пилота.

Без этих данных конфигурация получается угадыванием. Можно взять слишком слабый сервер и быстро упереться в ресурсы. Можно купить избыточную платформу, которая будет простаивать большую часть времени.

Где обычный сервер справляется, а где нужен GPU-сервер

Обычный сервер нормально закрывает классические задачи. На нем размещают виртуальные машины, базы данных, файловые сервисы, внутренние приложения и часть легких ИИ-сценариев. Если модель небольшая, запросов мало, а задержка не критична, CPU может справиться без отдельной GPU-подсистемы.

В ИИ-сервере нагрузка распределяется между несколькими компонентами. GPU ускоряет тяжелые параллельные вычисления. CPU обслуживает приложение, готовит данные и распределяет запросы. RAM нужна операционной системе, приложению, очередям обработки и пользовательским сессиям. Видеопамять GPU отдельно считают под модель, контекст и число одновременных запросов.

Проблемы начинаются, когда пилот превращается в рабочий сервис. Например, ассистентом начинают пользоваться несколько отделов, база документов растет, запросы идут очередью, а ответ нужен не «когда-нибудь», а в приемлемое для сотрудников время.

На первом обсуждении обычно быстро становится понятно, можно ли остаться на обычном сервере или нагрузку уже нужно считать как отдельную GPU-платформу.

Обычный сервер подходит для старта, тестов, небольших внутренних сервисов и редких запросов к модели. GPU-сервер начинают считать, когда сервисом пользуются несколько отделов, запросы идут параллельно, база документов растет, появляются видеопотоки или обработка большого архива.

ИИ-сервис можно разместить внутри компании на обычном сервере без GPU. Если процессор справляется с выбранной моделью и пользователям хватает скорости ответа, отдельный ускоритель не требуется. GPU нужен, когда вычислительной мощности CPU уже недостаточно. Например, при обработке видео, работе с большой моделью или множестве одновременных запросов.

Чем GPU-сервер отличается от обычного сервера

В обычном сервере основная нагрузка ложится на CPU. Этого хватает для виртуализации, баз данных, корпоративных приложений и многих внутренних сервисов. В ИИ-задачах часть вычислений переносится на GPU. Графические ускорители быстрее обрабатывают однотипные параллельные операции, которые постоянно встречаются при работе с моделями, изображениями, видео и большими массивами данных.

GPU-сервер строится вокруг графических ускорителей. Но несколько видеокарт в свободных разъемах еще не делают платформу пригодной для ИИ-нагрузки. Платформа должна быть рассчитана на такие карты физически, по электропитанию и охлаждению.

Для стоечных GPU-платформ обычно проверяют возможность установки полноразмерных GPU-карт. Не каждой задаче нужна максимальная конфигурация, но корпус, PCIe, питание и охлаждение должны подходить под выбранные ускорители. Для таких карт проверяют физический размер слота, число подключенных линий PCIe, поколение PCIe, режим работы слота и распределение линий между установленными картами. В обычном сервере слотов может быть много, но часть из них не подходит для ускорителей. Это могут быть короткие слоты (разъемы с меньшим числом линий) или места, куда нельзя поставить большую карту из-за соседних компонентов.

Есть и физические ограничения. Рядом со слотами PCIe могут находиться разъемы питания вентиляторов, шлейфы, элементы периферии или другие узлы. В компактном корпусе несколько GPU-карт могут перекрывать друг другу поток воздуха, упираться в кабели или мешать обслуживанию. Поэтому для GPU-сервера проверяют число слотов, размеры карт, компоновку корпуса и охлаждение вокруг ускорителей.

Отдельная часть – питание. Несколько GPU-карт требуют мощного блока питания, запаса по мощности и нормальной укладки кабелей. В типовом сервере 2U внутри остается мало места, и силовые кабели могут идти с сильным изгибом. Для некоторых видеокарт это критично. Если разъем подключен под неправильным углом или кабель давит на контактную группу, контакты могут греться. В худшем случае это приводит к отказу дорогостоящей карты или повреждению разъема питания.

GPU-сервер отличается от обычного сервера всей платформой. Здесь мало просто поставить ускорители в свободные слоты. Нужно, чтобы корпус, питание, охлаждение, PCIe, кабели и хранилище выдерживали выбранную конфигурацию. Иначе узкое место появится не в модели, а в железе вокруг нее.

Что важно при подборе

Перед выбором платформы собирают исходные данные по нагрузке. Для локального ассистента смотрят модель, длину контекста, число пользователей и базу документов. Для обработки изображений или видео – количество потоков, разрешение и допустимую задержку. Для дообучения – объем данных, режим запуска задач и требования к видеопамяти.

Отдельно проверяют площадку. Серверу нужны место в стойке, питание, охлаждение, сеть, доступ к СХД или локальному хранилищу. Если эти параметры не проверить заранее, даже мощная GPU-конфигурация может упереться не в вычисления, а в диски, сеть или тепло.

Где уместны GPU-серверы «Гравитон»

Если по задаче нужна стоечная платформа с несколькими GPU, можно рассматривать серверы «Гравитон» С2124ОГ и С2124АГ. Это база под проектную сборку.

Такие платформы уместны для локальных ассистентов, RAG по внутренним документам, обработки документов, видеоаналитики, дообучения моделей и других задач, где нагрузку нужно держать внутри инфраструктуры компании.

В таких проектах облачные GPU не всегда удобны. На это влияют требования к данным, задержки, стоимость регулярной нагрузки, доступность внешних сервисов и контроль над инфраструктурой. Если ИИ-сервис становится постоянным инструментом для сотрудников, собственный GPU-сервер проще вписать в существующий контур ИТ и ИБ.

Для таких проектов NewNets может предложить две GPU-платформы «Гравитон» – С2124ОГ на Intel и С2124АГ на AMD. Обе модели рассчитаны на установку в стойку 19 дюймов, занимают 4U и работают от питания 220 В, 50 Гц.

Максимальные характеристики показывают предел платформы. В реальном проекте инженеры NewNets подбирают ускорители, объем RAM, диски, сеть, питание, охлаждение и операционную систему под требования заказчика.

Какие задачи закрывают GPU-серверы

В таких проектах обычно встречаются несколько рабочих сценариев.

Локальная LLM или корпоративный ассистент – самый понятный пример. Сотрудник задает вопрос по внутренним инструкциям, заявкам, описаниям продуктов или базе решений. Если таких запросов мало, можно начать с CPU. Если пользователей становится больше и нужен быстрый ответ, считают GPU.

Для базы знаний чаще используют RAG. Документы не зашивают в модель. Их индексируют, находят нужные фрагменты и передают модели как контекст.

Инференс используют, когда готовая модель отвечает на реальные запросы. Пользователь задает вопрос, загружает документ или отправляет изображение, а модель возвращает результат. Здесь важны задержка ответа, число одновременных запросов и видеопамять GPU.

Дообучение – отдельный сценарий. Его используют, когда модель нужно адаптировать под термины, продукты, стиль ответов или внутренние процессы. Такая нагрузка тяжелее простого запуска готовой модели.

Для изображений и видео используют модели компьютерного зрения. Это распознавание объектов, дефектов, документов, подписей, печатей, штрихкодов, людей, автомобилей или опасных зон. В таких задачах заранее считают количество потоков, разрешение и требования к задержке.

Инфраструктура вокруг сервера

GPU-сервер редко упирается только в вычисления. На практике проблема может оказаться рядом с сервером. В стойке мало места, не хватает питания, горячий воздух плохо выходит из шкафа, сеть медленно отдает данные с хранилища. В итоге ускорители есть, но часть времени они ждут данные или работают в условиях, для которых площадка не была готова.

Перед установкой смотрят на стойку. Важны высота сервера, глубина корпуса, доступ к передней и задней части, место для кабелей и силовых линий. Если сервер ставят в существующую стойку, заранее проверяют запас по месту и удобство обслуживания. Особенно это касается конфигураций с несколькими GPU, где кабелей и тепла заметно больше, чем у обычного сервера под офисные сервисы.

Питание считают отдельно. Несколько ускорителей могут сильно изменить потребление всей платформы. Поэтому проверяют мощность блоков питания, резервирование, доступные линии питания, ИБП и время автономной работы. Если сервер планируют подключать к существующей системе резервного питания, ее тоже пересчитывают под новую нагрузку.

С охлаждением похожая история. GPU-карты дают высокую тепловую нагрузку, но это не значит, что каждой площадке сразу нужно нестандартное охлаждение. Сначала сверяют выбранную конфигурацию с документацией производителя, требованиями к серверной и возможностями помещения. Для эксплуатации важны поток воздуха, свободное пространство перед сервером и за ним, температура в стойке и мониторинг перегрева.

Отдельно проверяют сеть и хранение данных. ИИ-сервис может обращаться к СХД, базе документов, файловым хранилищам, индексам, резервным копиям и внешним системам. Если диски или сеть работают медленно, GPU простаивает в ожидании данных. Такое бывает неприятно обнаружить уже после покупки сервера.

Мониторинг лучше закладывать сразу. Администратору нужно видеть состояние питания, вентиляторов, температуры, дисков, сети и нагрузки на GPU. Для удаленной эксплуатации пригодятся BMC, IPMI, Redfish и выделенный порт управления. Тогда сервер можно проверить без выезда на площадку.

Типовые ошибки при подборе

На практике ошибка редко выглядит как «не та видеокарта». Чаще до покупки не уточнили режим работы сервиса. Ассистент для пяти сотрудников, видеоаналитика с нескольких камер и дообучение модели – это разные нагрузки.

Отдельно проверяют, что будет после пилота. Один специалист может начать с небольшого сервиса, а через несколько месяцев к нему подключается отдел, появляется очередь задач, растет база документов и добавляются новые сценарии. Если это не учесть заранее, модернизация быстро превращается в замену платформы.

FAQ