Проблема со связностью в регионах TAS/KZ/NBO

Minor incident Выделенные серверы и оборудование Пулы NSK-1 TAS-1 Облачная платформа Пулы uz-1a uz-2a kz-1a ke-1a Облако VMware Сервисы Панель управления Интерфейсы Панель управления
13-05-26 11:49 MSK · 5 дней, 5 часов, 16 минут, 17 секунд

Обновления

Post-mortem

Информация об инциденте 13.05.2026

Добрый день!

Мы подготовили подробный отчет о DDoS-атаке на инфраструктуру нашего регионального партнера, которая затронула доступность инфраструктуры наших клиентов в регионах Алматы, Ташкент и Найроби. Инцидент начался 13 мая в 11:20 и был переведен в режим мониторинга 14 мая в 18:11. Здесь и далее время указано в часовом поясе GMT+3 (Москва).

TL;DR

13 мая сеть нашего регионального партнера в Алматы, Ташкенте и Найроби подверглась масштабной ковровой DDoS-атаке типа UDP flood на уровнях L3/L4 с пиковой нагрузкой до 250 Гбит/с. Общая длительность инцидента составила 30 часов 51 минуту: 9 часов 27 минут деградации сетевой доступности и еще более 21 часа до полного восстановления.

Чтобы защитить инфраструктуру и данные клиентов, партнер временно приостановил внешние BGP-анонсы, сохранив локальную связность. Для отражения атаки трафик был перенаправлен к внешним комплексам DDoS-защиты: в Алматы и Найроби — через организованные туннели, в Ташкенте — через комплекс фильтрации на стороне магистрального провайдера после дополнительной настройки. Чтобы снизить риск повторения подобных инцидентов, мы совместно с партнером уже внедряем постоянное подключение нескольких внешних операторов DDoS-защиты со сценариями переключения, автоматизированные BGP-сценарии, заранее подготовленные резервные маршруты до комплексов фильтрации и оптимизируем работу локальных DNS при отсутствии внешней связности в регионах.

Что произошло

Сеть регионального партнера подверглась ковровой и многовекторной DDoS-атаке типа UDP flood на уровнях L3/L4. Атака была каскадной: она затронула сразу несколько регионов. Она была ковровой: вредоносный трафик был направлен не на один конкретный IP-адрес, а на множество адресов одновременно. Также атака была многовекторной: параметры вредоносного трафика менялись, что осложняло его детектирование и фильтрацию.

Пиковая нагрузка на магистральные каналы связи достигала 100–250 Гбит/с. В результате штатная система защиты от DDoS-атак не успевала адаптироваться к изменяющемуся профилю атаки, а объем трафика начал влиять не только на локальную инфраструктуру, но и на сети вышестоящих операторов связи.

Влияние на клиентов

Во время инцидента клиенты могли сталкиваться с полной или частичной недоступностью ресурсов из внешнего интернета, нестабильной сетевой связностью, снижением скорости доступа, проблемами с DNS-резолвингом, приватными сетями между ресурсами в разных регионах и стыками с интернет-провайдерами.

Хотим отдельно отметить, что данные и инфраструктура клиентов не пострадали.

Наши действия по защите инфраструктуры

Инженерная команда Selectel совместно со специалистами партнера приступила к диагностике сразу после появления первых сигналов в мониторинге. Первичная диагностика заняла дополнительное время, так как вредоносный трафик перегрузил внешние каналы связи. Для доступа к части систем и координации работ потребовалось устанавливать резервные каналы управления.

Так как атака создавала угрозу не только локальной инфраструктуре, но и сетям вышестоящих операторов связи, были временно приостановлены BGP-анонсы во внешний интернет. Это было необходимое решение: оно позволило снизить нагрузку на операторов связи, защитить инфраструктуру и сохранить локальную связность внутри регионов там, где это было возможно.

После этого объединенная техническая команда начала организацию резервной схемы очистки трафика через внешних операторов DDoS-защиты: тестирование туннелей, настройку маршрутизации и перевод трафика на внешние комплексы фильтрации.

Причины задержек при восстановлении

Основные задержки были связаны с масштабом атаки, ее ковровым характером и необходимостью координации с внешними операторами связи и провайдерами DDoS-защиты. Атака была направлена не на один адрес или сервис, а на большое количество IP-адресов во всех затронутых регионах. Поэтому фильтрация по отдельным направлениям или адресам не решала проблему.

Для восстановления публичной доступности нужно было согласовать маршрутизацию, поднять туннели, проверить прохождение трафика и настроить фильтрацию под фактический профиль атаки. В Ташкенте восстановление заняло больше времени, так как потребовалась дополнительная ручная настройка комплекса защиты на стороне магистрального провайдера.

Работы по восстановлению

Алматы и Найроби

Для очистки трафика было принято решение направить его через внешние комплексы DDoS-защиты с помощью туннелей. Первая попытка оказалась неудачной: внешний провайдер также не справился с очисткой вредоносного трафика. После анализа ситуации трафик был переключен на другого оператора защиты. Это помогло: комплекс очистки оператора отфильтровал вредоносный трафик и позволил начать восстановление.

После первичного восстановления часть клиентов могла наблюдать снижение скорости и нестабильную производительность. Это было связано с изменением маршрутов, увеличением RTT и дополнительной обработкой трафика на внешнем комплексе защиты. После корректировки настроек пропускной способности и маршрутизации ситуация была стабилизирована.

Ташкент

Автоматическая защита на стороне магистрального провайдера изначально не смогла корректно определить и отфильтровать атаку. В тесной координации с провайдером была произведена донастройка комплекса защиты. После оптимизации настроек провайдер успешно отфильтровал атаку на трансграничном узле, что позволило постепенно восстановить сетевую доступность.

Хронология ключевых событий

  • 13 мая, 11:20–12:25 — обнаружение и первичная диагностика
    Система мониторинга зафиксировала первые признаки сетевой недоступности и аномальной нагрузки. Команда начала диагностику. Из-за перегрузки внешних каналов часть действий выполнялась через резервные каналы управления.

  • 13 мая, 12:25–13:45 — определение масштаба атаки
    Команда подтвердила, что атака затрагивает сразу несколько регионов и большое количество IP-адресов партнера. Началась координация с магистральными операторами и провайдерами DDoS-защиты.

  • 13 мая, 13:45–15:50 — временное снятие внешних BGP-анонсов
    Для защиты инфраструктуры временно отключена внешняя связность. Локальная связность внутри регионов, где это было возможно, сохранялась. В этот период также проявились проблемы с DNS-резолвингом.

  • 13 мая, 15:50–19:00 — подключение внешней защиты
    В Алматы поднят туннель к первому внешнему комплексу защиты. На этом этапе был подтвержден фактический объем атаки — до 200–250 Гбит/с. Первичная схема фильтрации не позволила полностью отфильтровать атаку, поэтому команда начала переключение на резервного оператора защиты. В Ташкенте магистральные провайдеры выполняли ручную настройку своего комплекса защиты. В Найроби один из вышестоящих операторов временно отключил BGP-сессию из-за перегрузки своей сети.

  • 13 мая, 19:00–22:59 — подключение резервного оператора защиты и частичное восстановление
    Для Алматы и Найроби подключен резервный оператор DDoS-защиты. В Ташкенте после ручной донастройки магистральный провайдер начал корректно фильтровать атаку. Началось постепенное восстановление доступности и работы DNS-резолвинга.

  • 13 мая, 22:59 — 14 мая, 01:39 — устранение проблем производительности
    После восстановления связности часть клиентов в Алматы и Найроби наблюдала снижение скорости. Команда выявила и исправила ошибку в настройках пропускной способности на стороне защитного комплекса, а также продолжила корректировку маршрутизации.

  • 14 мая — стабилизация и возврат к штатной схеме
    После того как атака перестала детектироваться в значимых объемах, команда начала перевод связности обратно в штатный режим. Сетевой доступ был восстановлен, скорость работы нормализовалась. 14 мая в 18:11 инцидент был переведен в режим мониторинга.

Какие меры мы предпримем, чтобы снизить риск повторения

Инженерная команда Selectel совместно со специалистами партнера начала работу над изменениями в сетевой архитектуре и процессах реагирования.

Постоянная внешняя DDoS-защита

Мы внедрим постоянное подключение внешних операторов DDoS-защиты для затронутых регионов. Это позволит во время атаки в полуавтоматическом режиме переводить весь вредоносный трафик на комплексы фильтрации партнеров по схеме, которая подтвердила свою работоспособность в боевых условиях.

Автоматическое включение защиты

Мы добавим автоматические триггеры для включения DDoS-защиты при достижении заданных порогов по трафику, потерям пакетов и сетевой доступности. Это сократит время между началом атаки и началом фильтрации.

Автоматизация BGP-сценариев

Мы подготовим автоматизированные сценарии управления BGP-анонсами. Их задача — быстро изолировать внешний контур при сохранении локальной связности внутри региона и через локальные точки обмена трафиком, если это технически возможно. Это позволит быстрее защищать инфраструктуру от перегрузки и снизить зависимость от ручных переключений во время инцидента.

Резервные туннели и маршруты

Мы заранее подготовим резервные схемы маршрутизации и туннели к внешним операторам защиты. Для Ташкента отдельно проведем техническое и юридическое согласование таких схем с локальными партнерами и с учетом регуляторных требований, чтобы в случае чрезвычайной ситуации не тратить время на согласования во время инцидента.

Локальная устойчивость DNS

Мы пересмотрим архитектуру DNS-резолвинга в регионах, чтобы при потере внешней связности базовые сетевые функции сохраняли работоспособность, а ресурсы продолжали быть доступны для локальных пользователей.

Учения и регламенты реагирования

Мы обновим внутренние регламенты реагирования на масштабные L3/L4-атаки и проведем учения с участием сетевой команды, дежурных инженеров, поддержки и внешних операторов. Отдельно будут отработаны сценарии ковровой атаки по множеству IP-адресов региона и одновременной атаки на несколько регионов.

Мы благодарим клиентов за поддержку, терпение и обратную связь во время этой масштабной атаки и восстановления сервисов.

Отдельно хотим сказать спасибо операторам DDoS-защиты, операторам связи и магистральным провайдерам за оперативную помощь и координацию при отражении атаки.

Команда Selectel

мая 18, 2026 · 17:05 MSK
Решено

Сетевая связность полностью восстановлена, последствия атаки разрешены. Прикладываем пост-мортем.

мая 18, 2026 · 17:04 MSK
Проводится анализ

С момента последнего обновления статуса проблем с доступностью ресурсов не наблюдалось. DDoS-атака больше не оказывает существенного влияния на сетевую доступность инфраструктуры.

Всю ночь инженерная команда проводила работы по оптимизации комплекса фильтрации, конфигурации сети и правил маршрутизации. Работы продолжатся и сегодня: они направлены на снижение риска повторного влияния атаки и повышение стабильности сети.

Из-за особенностей работы комплекса фильтрации часть легитимных маршрутов может быть заблокирована. Если вы сталкиваетесь с проблемами сетевой связанности между вашими ресурсами, пожалуйста, обратитесь в поддержку — мы проверим затронутые маршруты и при необходимости внесем ручные корректировки.

Мы продолжаем внимательно следить за ситуацией и сообщим о значимых изменениях. Подробные разъяснения об атаке и наших действиях в ходе инцидента мы дадим после того, как ее последствия будут полностью устранены.

мая 14, 2026 · 10:09 MSK
Мониторинг

После переключения конфигурации сети и перенаправления трафика на развернутые комплексы фильтрации нам удалось практически полностью устранить влияние активной DDoS-атаки на инфраструктуру.

Сетевая связанность ресурсов во всех регионах восстановлена. Налажена работа панели управления, отображения и управления ресурсами. Решены проблемы с локальными DNS-резолверами.

Временно могут наблюдаться проблемы в работе VPN-соединений между регионами, увеличение задержек, а также false positive-срабатывания комплекса защиты от DDoS, при которых блокируется легитимный трафик.

Мы продолжаем работы по тонкой настройке системы фильтрации, конфигурации сети и устранению последствий атаки.

мая 13, 2026 · 23:07 MSK
Проводится анализ

Процесс реконфигурации сетевого оборудования и настройки средств фильтрации успешно завершен.

В регионе Ташкент команда уже выполнила переключение на новую схему защиты. Предварительно сетевая связность в регионе восстановлена, ожидается постепенное возвращение доступности всех ресурсов в штатный режим.

Мы просим клиентов проверить работоспособность ваших сервисов со своей стороны и убедиться в их доступности.

мая 13, 2026 · 21:14 MSK
Проводится анализ

Наша команда совместно с операторами связи продолжает перенастройку и адаптацию сетевой инфраструктуру для отражения мощной DDoS-атаки.

Изоляция внешнего трафика помогла восстановить сетевую доступность виртуальных машин в сетях TAS-IX, UZ-IX и KAZ-GOV-IX. Сейчас мы занимаемся решением проблемы резолва DNS для восстановления работы кластеров Kubernetes и Баз данных в регионах Ташкент и Алматы.

Работа по настройке систем фильтрации внешнего трафика для его очистки продолжается. После завершения работ на комплексе очистки, весь внешний трафик будет перенаправлен туда.

мая 13, 2026 · 17:33 MSK
Проводится анализ

В рамках работ по отражению DDoS-атаки на сетевую инфраструктуру в регионе Узбекистан, мы временно изолировали внешний интернет-трафик от внутренних сетей TAS-IX и UZ-IX.

Благодаря этому шагу доступ к сервисам, размещенным в регионе Ташкент, для пользователей из Узбекистана постепенно восстанавливается. Мы продолжаем работу над устранением инцидента и возвращением глобальной сетевой доступности.

мая 13, 2026 · 16:23 MSK
Проводится анализ

В рамках работ по отражению DDoS-атаки на сетевую инфраструктуру в регионе Алматы, мы временно изолировали внешний интернет-трафик от внутренних сетей KAZ-GOV-IX.

Также для фильтрации внешнего трафика мы организовали служебный туннель для перенаправления трафика к развернутым комплексам фильтрации наших партнеров и приступаем к блокировке.

мая 13, 2026 · 16:16 MSK
Проводится анализ

Совместно с операторами связи мы продолжаем расширять пропускную способность каналов и настраивать дополнительную фильтрацию.
Также мы привлекли партнеров для настройки новых маршрутов, чтобы перенаправить часть трафика на специализированные центры очистки.
Следующее обновление статуса мы предоставим по мере появления новой информации.

мая 13, 2026 · 15:24 MSK
Проводится анализ

В настоящее время наблюдаются перебои с сетевой доступностью части наших сервисов. Причиной инцидента стала масштабная DDoS-атака на нашу инфраструктуру, которая затронула все автономные сети компании. Атака нарушила сетевую доступность, но серверы, виртуальные машины и ваши данные находятся в полной безопасности и не затронуты инцидентом.

Команда инженеров совместно с магистральными операторами связи и партнерами по кибербезопасности уже применяет комплекс мер для фильтрации вредоносного трафика и восстановления стабильной работы сети. Мы изолируем контур атаки и перенаправляем трафик через новые защищенные каналы связи.

Из-за высокой интенсивности атаки точные сроки полного восстановления пока неизвестны, мы задействовали все доступные технические ресурсы для скорейшего решения проблемы.

Следующим обновлением статуса мы постараемся поделиться в течение часа, как только появятся существенные изменения в ситуации.

мая 13, 2026 · 13:34 MSK
Проводится анализ

Мы зафиксировали массированные сетевые атаки на инфраструктуру наших дата-центров. На данный момент проблема полностью локализована и будет устранена в самое ближайшее время.

мая 13, 2026 · 12:02 MSK
Проблема

Здравствуйте.

Наблюдаем массовые обращения связанные с недоступностью виртуальных машин в регионах и панели управления.
Недоступность вызвана зафиксированной DDoS атакой.

Профильные инженеры уже занимаются решением проблемы.

мая 13, 2026 · 11:49 MSK

← Назад