В условиях распределенной ИТ-инфраструктуры и роста объемов межцентрового трафика обеспечение защищенной и высокопроизводительной передачи данных между территориально разнесенными центрами обработки данных становится критически важной задачей. При этом решение должно не только соответствовать требованиям информационной безопасности, но и обеспечивать минимальные задержки, высокую пропускную способность и отказоустойчивость.
В данной статье представлено техническое решение по организации защищенных каналов связи между площадками ЦОД с применением сертифицированного средства криптографической защиты информации (СКЗИ) «Квазар». Рассмотрены архитектура подключения, особенности интеграции с существующим сетевым оборудованием, методика и результаты тестирования производительности, а также сравнительный анализ с альтернативными решениями уровня L3.
Предлагаемая схема обеспечивает шифрование трафика на скоростях до 10 Гбит/с с минимальным влиянием на задержку передачи данных, что делает решение применимым для построения защищенных высокоскоростных магистральных соединений между ЦОД.
В качестве оборудования шифрования используется сертифицированное СКЗИ «Квазар» модели МШ-ТРfc-1U. Данное СКЗИ является транспондером, выполненным в виде моноблока, имеющего защитный корпус высотой 1U для монтажа в 19" телекоммуникационный шкаф. МШ-ТРfc-1U обеспечивает криптоимитозащиту и преобразование клиентского потока информации по интерфейсам: 10 Gbit Ethernet или 8 Gbit Fibre Channel. Предусмотрена возможность подключения к основной и резервной линиям связи с интерфейсом OTU2е, а также автоматическое переключение между ними, в случае пропадания сигнала по одной из линий.
МШ-ТРfc-1U имеет сертификат ФСБ и соответствует требованиям к средствам криптографической защиты информации, предназначенным для защиты информации, не содержащей сведений, составляющих государственную тайну, класса КС3, и могут использоваться для криптографической защиты (шифрование данных, вычисление имитовставки для данных, передаваемых по каналам связи в OTN-сетях) информации, не содержащей сведений, составляющих государственную тайну.
Для изготовления ключевых документов, используемых в модулях шифрования МШ-ТРfc, МШ-ТРfc-1U применяется автоматическое рабочее место изготовления ключевых документов (АРМ ИКД), также входящее в состав комплекса средств криптографической защиты информации для работы в OTN-сетях.
Основные технические характеристики МШ-ТРfc-1U:
| Характеристики | Описание |
|---|---|
| Клиентский интерфейс (Клиент) | 1 x 10 Gbit Ethernet или 8 Gbit Fibre Channel¹ (модуль SFP+²) |
| Линейные интерфейсы (Линия 1/Линия 2) | 2 x OTN OTU2e (модуль SFP+²) |
| Пропускная способность³, Гбит/с | 10 или 6,8⁴ |
| Криптографический алгоритм | ГОСТ Р 34.12-2015 (блочный шифр «Магма») |
| Режим шифрования | ГОСТ Р 34.13-2015 (режим гаммирования) |
| Режим выработки имитовставки | ГОСТ Р 34.13-2015 |
| Коррекция ошибок (FEC) | ITU-T G.709 или ITU-T G.975.1 |
| Задержка (Latency), без FEC, мс, не более | 0.05 |
| Задержка (Latency), FEC G.709, мс, не более | 0,05 |
| Задержка (Latency), FEC G.975.1, мс, не более | 0,08 |
| Джиттер (Jitter), G.825.1, мкс, не более | 1 |
| Резервирование линии | Автоматическое переключение с основной линии (Линия 1) на резервную (Линия 2) - не более 50 мс³ |
| Форм-фактор | 19" моноблок 1U |
| Электропитание (с резервированием) | 220 В, 50 Гц |
| Потребляемая мощность, Вт, не более | 130 |
| Габаритные размеры (Ш х Д х В), мм | 482×570×44 |
| Масса, кг, не более | 11 |
| Направление воздушного охлаждения | Front-to-back |
В качестве клиентского оборудования на стороне центра обработки данных используется коммутатор MES5500-32 производства Eltex. Данная модель относится к линейке высокопроизводительных коммутаторов уровня агрегации/ядра сети и предназначена для эксплуатации в инфраструктуре ЦОД. Коммутатор обеспечивает передачу трафика на скоростях 10/40/100 Гбит/с и поддерживает работу с оптическими интерфейсами различного типа. Конструктивное исполнение предусматривает установку в стандартный 19” телекоммуникационный шкаф. Применение MES5500-32 в составе решения обеспечивает формирование и передачу клиентского трафика к средствам криптографической защиты информации.
Для подключения клиентских интерфейсов в составе решения используются сменные оптические трансиверы и кабельные сборки, соответствующие требованиям по скорости передачи данных 10 Гбит/с. В рамках испытаний и проверки совместимости оборудования применялись следующие типы клиентских интерфейсов:
активные оптические кабели AOC
Используемые типы трансиверов обеспечивают корректную работу клиентских интерфейсов, совместимость с коммутационным и криптографическим оборудованием, а также позволяют применять различные варианты подключения в зависимости от условий размещения оборудования в ЦОД.
Схема организации связи между территориально-распределенными площадками ЦОД представлена на Рисунке 1.
В составе коммутаторов Eltex MES5500 есть два порта (XG1, XG2) со скоростью 10 Гбит/с. Подключение клиентских интерфейсов МШ-ТРfc-1U возможно, как с использованием данных портов, так и через переходник QSFP в SFP, установленного в один из портов 100/40 Гбит/с.
Для достижения производительности шифрования 40 Гбит/с физические порты коммутаторов на площадке объединяются в логическую группу с агрегированием каналов по протоколу LACP. Пропускная способность логического интерфейса составляет 20 Гбит/с full-duplex.
Тестирование производительности решения производится по методике RFC 2544 с использованием поверенных измерительных приборов (анализаторов транспортных сетей). При выполнении теста измеряются:
Тестирование проходит одним потоком на фреймах размером 64, 128, 256, 512, 1024, 1280, 1518, 9000 байт. По окончанию теста формируется отчет. При анализе отчетов пропускная способность измеряется для потока L1. Схема проведения измерений представлена на Рисунке 2.
Результаты тестирования пропускной способности, задержки, колебания задержки и потери кадров представлены на Рисунках 3-5.
| Расширенный RFC 2544: Результаты тестирования пропускной способности | ||||||||
|---|---|---|---|---|---|---|---|---|
| Пройден/ Не пройден | Длина кадра (байты) | Измеренная скорость L1 (Мбит/с) | Измеренная скорость L2 (Мбит/с) | Измеренная скорость L3 (Мбит/с) | Измеренная скорость L4 (Мбит/с) | Измеренная частота (кадров/сек) | Пауза Обнаружение | Скорость загрузки (L1 Мбит/с) |
| Пройден | 64 | 9999.6 | 7618.7 | 5476.0 | 3095.1 | 14,880,358 | Нет | 10000.0 |
| Пройден | 128 | 9999.6 | 8648.3 | 7432.1 | 6080.8 | 8,445,609 | Нет | 10000.0 |
| Пройден | 256 | 9999.6 | 9275.0 | 8622.8 | 7898.2 | 4,528,805 | Нет | 10000.0 |
| Пройден | 512 | 9999.6 | 9623.7 | 9285.3 | 8909.4 | 2,349,530 | Нет | 10000.0 |
| Пройден | 1024 | 9999.6 | 9808.0 | 9635.6 | 9444.1 | 1,197,270 | Нет | 10000.0 |
| Пройден | 1518 | 9999.6 | 9869.6 | 9752.5 | 9622.5 | 812,712 | Нет | 10000.0 |
| Пройден | 9000 | 9999.6 | 9977.4 | 9957.5 | 9935.3 | 138,576 | Нет | 10000.0 |
| Расширенный RFC 2544: Результаты теста задержки | ||||||
|---|---|---|---|---|---|---|
| Пройден/ Не пройден | Длина кадра (байты) | Задержка RTD (мкс) | Измеренная скорость L1 (Мбит/с) | Измеренный уровень L1 (% от скорости линии) | Измеренная частота (кадров/сек) | Пауза Обнаружение |
| Пройден | 64 | 173.07 | 9999.6 | 99.996 | 14,880,358 | Нет |
| Пройден | 128 | 173.50 | 9999.6 | 99.996 | 8,445,609 | Нет |
| Пройден | 256 | 173.97 | 9999.6 | 99.996 | 4,528,805 | Нет |
| Пройден | 512 | 174.79 | 9999.6 | 99.996 | 2,349,530 | Нет |
| Пройден | 1024 | 176.44 | 9999.6 | 99.996 | 1,197,270 | Нет |
| Пройден | 1518 | 178.10 | 9999.6 | 99.996 | 812,712 | Нет |
| Пройден | 9000 | 193.74 | 9999.6 | 99.996 | 138,576 | Нет |
| Расширенный RFC 2544: Результаты теста на дрожание сигнала | ||||||
|---|---|---|---|---|---|---|
| Пройден/ Не пройден | Длина кадра (байты) | Максимально-средний уровень дрожания (мкс) | Измеренная скорость L1 (Мбит/с) | Измеренный уровень L1 (% от скорости линии) | Измеренная частота (кадров/сек) | Пауза Обнаружение |
| Пройден | 64 | 0,00 | 9999.6 | 99.996 | 14,880,358 | Нет |
| Пройден | 128 | 0,00 | 9999.6 | 99.996 | 8,445,609 | Нет |
| Пройден | 256 | 0,00 | 9999.6 | 99.996 | 4,528,805 | Нет |
| Пройден | 512 | 0,00 | 9999.6 | 99.996 | 2,349,530 | Нет |
| Пройден | 1024 | 0,00 | 9999.6 | 99.996 | 1,197,270 | Нет |
| Пройден | 1518 | 0,00 | 9999.6 | 99.996 | 812,712 | Нет |
| Пройден | 9000 | 0,00 | 9999.6 | 99.996 | 138,576 | Нет |
| Пробный период/Размер кадра/Итерация | Суммарная пропускная способность L2 | Общая пропускная способность L1 | Пропускная способность (кадры) | Агг-задержка | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Коэффициент агрегации % | Суммарная частота приема | Ix ставка, Мбит/с | Скорость приема, Мбит/с | Мин (нс) | Макс (нс) | Среднее (нс) | ||||
| % | ФПС | |||||||||
| Тест: 1/FS: 74/Итерация: 1 | 100,00 | 100 | 26595743.842 | 15744.680 | Передача: 531914894.000 | |||||
| Прием: 531914894.000 | ||||||||||
| Потеря: 0.000 | ||||||||||
| Потеря %: 0.000 | ||||||||||
| Тест: 1/FS: 128/Итерация: 1 | 100,00 | 100 | 16891891.618 | 17297.297 | Передача: 337837838.000 | |||||
| Прием: 337837838.000 | ||||||||||
| Потеря: 0.000 | ||||||||||
| Потеря %: 0.000 | ||||||||||
| Испытание: 1/FS: 256/Итерация: 1 | 100,00 | 100 | 9057970.803 | 18550.724 | Передача: 181159420.000 | |||||
| Прием: 181159420.000 | ||||||||||
| Потеря: 0.000 | ||||||||||
| Потеря %: 0.000 | ||||||||||
| Испытание: 1/FS: 512/Итерация: 1 | 100,00 | 100 | 4699248.090 | 19248.120 | Передача: 93984962.000 | |||||
| Прием: 93984962.000 | ||||||||||
| Потеря: 0.000 | ||||||||||
| Потеря %: 0.000 | ||||||||||
| Испытание: 1/FS: 1024/Итерация: 1 | 100,00 | 100 | 2394635.893 | 19616.857 | Передача: 47892720.000 | |||||
| Прием: 47892720.000 | ||||||||||
| Потеря: 0.000 | ||||||||||
| Потеря %: 0.000 | ||||||||||
| Испытание: 1/FS: 1518/Итерация: 1 | 100,00 | 100 | 1625487.615 | 19739.922 | Передача: 32509752.000 | |||||
| Прием: 32509752.000 | ||||||||||
| Потеря: 0.000 | ||||||||||
| Потеря %: 0.000 | ||||||||||
Результаты тестирования производительности (пропускная способность, задержка, джиттер) криптошлюза представлены на Рисунках 6-8.
| Расширенный RFC 2544: Результаты тестирования пропускной способности | |||||||
|---|---|---|---|---|---|---|---|
| Длина кадра (байты) | Измеренная скорость L1 (Мбит/с) | Измеренная скорость L2 (Мбит/с) | Измеренная скорость L3 (Мбит/с) | Измеренная скорость L4 (Мбит/с) | Измеренная частота (кадров/сек) | Пауза Обнаружение | Скорость загрузки (L2 Мбит/с) |
| 64 | 530,2 | 404,0 | 290,3 | 164,1 | 789,007 | Нет | 400,0 |
| 128 | 1067.6 | 923,3 | 793,5 | 649,2 | 901,651 | Нет | 900,0 |
| 256 | 1627.3 | 1509.4 | 1403.3 | 1285.3 | 737,008 | Нет | 1500.0 |
| 512 | 4149.0 | 3993.0 | 3852.6 | 3696.7 | 974,855 | Нет | 3900.0 |
| 768 | 5347.3 | 5211.6 | 5089.4 | 4953.7 | 848,238 | Нет | 5200.0 |
| 1024 | 5864.8 | 5752.4 | 5651.3 | 5539.0 | 702,208 | Нет | 5700.0 |
| 1280 | 6112.9 | 6018.9 | 5934.2 | 5840.2 | 587,776 | Нет | 6000.0 |
| 1518 | 6477.3 | 6393.1 | 6317.3 | 6233.0 | 526,440 | Нет | 6400.0 |
| 1596 | 6512.9 | 6432.3 | 6359.8 | 6279.1 | 503,780 | Нет | 6500.0 |
| 9000 | 6831.7 | 6816.6 | 6802.9 | 6787.8 | 94,675 | Нет | 6800.0 |
| Расширенный RFC 2544: Результаты теста задержки | |||||
|---|---|---|---|---|---|
| Длина кадра (байты) | Задержка RTD (мкс) | Измеренная скорость L2 (Мбит/с) | Измеренный уровень L1 (% от скорости линии) | Измеренная частота (кадров/сек) | Пауза Обнаружение |
| 64 | 35000.10 | 404,0 | 5.302 | 789,007 | Нет |
| 128 | 42864.40 | 923,3 | 10.676 | 901,651 | Нет |
| 256 | 12204.50 | 1509.4 | 16.273 | 737,008 | Нет |
| 512 | 106456.00 | 3993.0 | 41.490 | 974,855 | Нет |
| 768 | 94046.60 | 5211.6 | 53.473 | 848,238 | Нет |
| 1024 | 38127.30 | 5752.4 | 58.648 | 702,208 | Нет |
| 1280 | 21090.60 | 6018.9 | 61.129 | 587,776 | Нет |
| 1518 | 273678.00 | 6393.1 | 64.773 | 526,440 | Нет |
| 1596 | 294700.00 | 6432.3 | 65.129 | 503,780 | Нет |
| 9000 | 1535.72 | 6816.6 | 68.317 | 94,675 | Нет |
| Усовершенствованный RFC 2544: Результаты теста на дрожание сигнала | |||||
|---|---|---|---|---|---|
| Длина кадра (байты) | Максимально-средний уровень дрожания (в США) | Измеренная скорость L2 (Мбит/с) | Измеренный уровень L1 (% от скорости линии) | Измеренная частота (кадров/сек) | Пауза Обнаружение |
| 64 | 868.45 | 404,0 | 5.302 | 789,007 | Нет |
| 128 | 916.00 | 923,3 | 10.676 | 901,651 | Нет |
| 256 | 354.87 | 1509.4 | 16.273 | 737,008 | Нет |
| 512 | 1085.44 | 3993.0 | 41.490 | 974,855 | Нет |
| 768 | 1052.52 | 5211.6 | 53.473 | 848,238 | Нет |
| 1024 | 430.35 | 5752.4 | 58.648 | 702,208 | Нет |
| 1280 | 227.95 | 6018.9 | 61.129 | 587,776 | Нет |
| 1518 | 1221.72 | 6393.1 | 64.773 | 526,440 | Нет |
| 1596 | 1500.86 | 6432.3 | 65.129 | 503,780 | Нет |
| 9000 | 105.89 | 6816.6 | 68.317 | 94,675 | Нет |