Проблема со связностью в регионах TAS/KZ/NBO
Обновления
Информация об инциденте 13.05.2026
Добрый день!
Мы подготовили подробный отчет о DDoS-атаке на инфраструктуру нашего регионального партнера, которая затронула доступность инфраструктуры наших клиентов в регионах Алматы, Ташкент и Найроби. Инцидент начался 13 мая в 11:20 и был переведен в режим мониторинга 14 мая в 18:11. Здесь и далее время указано в часовом поясе GMT+3 (Москва).
TL;DR
13 мая сеть нашего регионального партнера в Алматы, Ташкенте и Найроби подверглась масштабной ковровой DDoS-атаке типа UDP flood на уровнях L3/L4 с пиковой нагрузкой до 250 Гбит/с. Общая длительность инцидента составила 30 часов 51 минуту: 9 часов 27 минут деградации сетевой доступности и еще более 21 часа до полного восстановления.
Чтобы защитить инфраструктуру и данные клиентов, партнер временно приостановил внешние BGP-анонсы, сохранив локальную связность. Для отражения атаки трафик был перенаправлен к внешним комплексам DDoS-защиты: в Алматы и Найроби — через организованные туннели, в Ташкенте — через комплекс фильтрации на стороне магистрального провайдера после дополнительной настройки. Чтобы снизить риск повторения подобных инцидентов, мы совместно с партнером уже внедряем постоянное подключение нескольких внешних операторов DDoS-защиты со сценариями переключения, автоматизированные BGP-сценарии, заранее подготовленные резервные маршруты до комплексов фильтрации и оптимизируем работу локальных DNS при отсутствии внешней связности в регионах.
Что произошло
Сеть регионального партнера подверглась ковровой и многовекторной DDoS-атаке типа UDP flood на уровнях L3/L4. Атака была каскадной: она затронула сразу несколько регионов. Она была ковровой: вредоносный трафик был направлен не на один конкретный IP-адрес, а на множество адресов одновременно. Также атака была многовекторной: параметры вредоносного трафика менялись, что осложняло его детектирование и фильтрацию.
Пиковая нагрузка на магистральные каналы связи достигала 100–250 Гбит/с. В результате штатная система защиты от DDoS-атак не успевала адаптироваться к изменяющемуся профилю атаки, а объем трафика начал влиять не только на локальную инфраструктуру, но и на сети вышестоящих операторов связи.
Влияние на клиентов
Во время инцидента клиенты могли сталкиваться с полной или частичной недоступностью ресурсов из внешнего интернета, нестабильной сетевой связностью, снижением скорости доступа, проблемами с DNS-резолвингом, приватными сетями между ресурсами в разных регионах и стыками с интернет-провайдерами.
Хотим отдельно отметить, что данные и инфраструктура клиентов не пострадали.
Наши действия по защите инфраструктуры
Инженерная команда Selectel совместно со специалистами партнера приступила к диагностике сразу после появления первых сигналов в мониторинге. Первичная диагностика заняла дополнительное время, так как вредоносный трафик перегрузил внешние каналы связи. Для доступа к части систем и координации работ потребовалось устанавливать резервные каналы управления.
Так как атака создавала угрозу не только локальной инфраструктуре, но и сетям вышестоящих операторов связи, были временно приостановлены BGP-анонсы во внешний интернет. Это было необходимое решение: оно позволило снизить нагрузку на операторов связи, защитить инфраструктуру и сохранить локальную связность внутри регионов там, где это было возможно.
После этого объединенная техническая команда начала организацию резервной схемы очистки трафика через внешних операторов DDoS-защиты: тестирование туннелей, настройку маршрутизации и перевод трафика на внешние комплексы фильтрации.
Причины задержек при восстановлении
Основные задержки были связаны с масштабом атаки, ее ковровым характером и необходимостью координации с внешними операторами связи и провайдерами DDoS-защиты. Атака была направлена не на один адрес или сервис, а на большое количество IP-адресов во всех затронутых регионах. Поэтому фильтрация по отдельным направлениям или адресам не решала проблему.
Для восстановления публичной доступности нужно было согласовать маршрутизацию, поднять туннели, проверить прохождение трафика и настроить фильтрацию под фактический профиль атаки. В Ташкенте восстановление заняло больше времени, так как потребовалась дополнительная ручная настройка комплекса защиты на стороне магистрального провайдера.
Работы по восстановлению
Алматы и Найроби
Для очистки трафика было принято решение направить его через внешние комплексы DDoS-защиты с помощью туннелей. Первая попытка оказалась неудачной: внешний провайдер также не справился с очисткой вредоносного трафика. После анализа ситуации трафик был переключен на другого оператора защиты. Это помогло: комплекс очистки оператора отфильтровал вредоносный трафик и позволил начать восстановление.
После первичного восстановления часть клиентов могла наблюдать снижение скорости и нестабильную производительность. Это было связано с изменением маршрутов, увеличением RTT и дополнительной обработкой трафика на внешнем комплексе защиты. После корректировки настроек пропускной способности и маршрутизации ситуация была стабилизирована.
Ташкент
Автоматическая защита на стороне магистрального провайдера изначально не смогла корректно определить и отфильтровать атаку. В тесной координации с провайдером была произведена донастройка комплекса защиты. После оптимизации настроек провайдер успешно отфильтровал атаку на трансграничном узле, что позволило постепенно восстановить сетевую доступность.
Хронология ключевых событий
-
13 мая, 11:20–12:25 — обнаружение и первичная диагностика
Система мониторинга зафиксировала первые признаки сетевой недоступности и аномальной нагрузки. Команда начала диагностику. Из-за перегрузки внешних каналов часть действий выполнялась через резервные каналы управления. -
13 мая, 12:25–13:45 — определение масштаба атаки
Команда подтвердила, что атака затрагивает сразу несколько регионов и большое количество IP-адресов партнера. Началась координация с магистральными операторами и провайдерами DDoS-защиты. -
13 мая, 13:45–15:50 — временное снятие внешних BGP-анонсов
Для защиты инфраструктуры временно отключена внешняя связность. Локальная связность внутри регионов, где это было возможно, сохранялась. В этот период также проявились проблемы с DNS-резолвингом. -
13 мая, 15:50–19:00 — подключение внешней защиты
В Алматы поднят туннель к первому внешнему комплексу защиты. На этом этапе был подтвержден фактический объем атаки — до 200–250 Гбит/с. Первичная схема фильтрации не позволила полностью отфильтровать атаку, поэтому команда начала переключение на резервного оператора защиты. В Ташкенте магистральные провайдеры выполняли ручную настройку своего комплекса защиты. В Найроби один из вышестоящих операторов временно отключил BGP-сессию из-за перегрузки своей сети. -
13 мая, 19:00–22:59 — подключение резервного оператора защиты и частичное восстановление
Для Алматы и Найроби подключен резервный оператор DDoS-защиты. В Ташкенте после ручной донастройки магистральный провайдер начал корректно фильтровать атаку. Началось постепенное восстановление доступности и работы DNS-резолвинга. -
13 мая, 22:59 — 14 мая, 01:39 — устранение проблем производительности
После восстановления связности часть клиентов в Алматы и Найроби наблюдала снижение скорости. Команда выявила и исправила ошибку в настройках пропускной способности на стороне защитного комплекса, а также продолжила корректировку маршрутизации. -
14 мая — стабилизация и возврат к штатной схеме
После того как атака перестала детектироваться в значимых объемах, команда начала перевод связности обратно в штатный режим. Сетевой доступ был восстановлен, скорость работы нормализовалась. 14 мая в 18:11 инцидент был переведен в режим мониторинга.
Какие меры мы предпримем, чтобы снизить риск повторения
Инженерная команда Selectel совместно со специалистами партнера начала работу над изменениями в сетевой архитектуре и процессах реагирования.
Постоянная внешняя DDoS-защита
Мы внедрим постоянное подключение внешних операторов DDoS-защиты для затронутых регионов. Это позволит во время атаки в полуавтоматическом режиме переводить весь вредоносный трафик на комплексы фильтрации партнеров по схеме, которая подтвердила свою работоспособность в боевых условиях.
Автоматическое включение защиты
Мы добавим автоматические триггеры для включения DDoS-защиты при достижении заданных порогов по трафику, потерям пакетов и сетевой доступности. Это сократит время между началом атаки и началом фильтрации.
Автоматизация BGP-сценариев
Мы подготовим автоматизированные сценарии управления BGP-анонсами. Их задача — быстро изолировать внешний контур при сохранении локальной связности внутри региона и через локальные точки обмена трафиком, если это технически возможно. Это позволит быстрее защищать инфраструктуру от перегрузки и снизить зависимость от ручных переключений во время инцидента.
Резервные туннели и маршруты
Мы заранее подготовим резервные схемы маршрутизации и туннели к внешним операторам защиты. Для Ташкента отдельно проведем техническое и юридическое согласование таких схем с локальными партнерами и с учетом регуляторных требований, чтобы в случае чрезвычайной ситуации не тратить время на согласования во время инцидента.
Локальная устойчивость DNS
Мы пересмотрим архитектуру DNS-резолвинга в регионах, чтобы при потере внешней связности базовые сетевые функции сохраняли работоспособность, а ресурсы продолжали быть доступны для локальных пользователей.
Учения и регламенты реагирования
Мы обновим внутренние регламенты реагирования на масштабные L3/L4-атаки и проведем учения с участием сетевой команды, дежурных инженеров, поддержки и внешних операторов. Отдельно будут отработаны сценарии ковровой атаки по множеству IP-адресов региона и одновременной атаки на несколько регионов.
Мы благодарим клиентов за поддержку, терпение и обратную связь во время этой масштабной атаки и восстановления сервисов.
Отдельно хотим сказать спасибо операторам DDoS-защиты, операторам связи и магистральным провайдерам за оперативную помощь и координацию при отражении атаки.
Команда Selectel
Сетевая связность полностью восстановлена, последствия атаки разрешены. Прикладываем пост-мортем.
С момента последнего обновления статуса проблем с доступностью ресурсов не наблюдалось. DDoS-атака больше не оказывает существенного влияния на сетевую доступность инфраструктуры.
Всю ночь инженерная команда проводила работы по оптимизации комплекса фильтрации, конфигурации сети и правил маршрутизации. Работы продолжатся и сегодня: они направлены на снижение риска повторного влияния атаки и повышение стабильности сети.
Из-за особенностей работы комплекса фильтрации часть легитимных маршрутов может быть заблокирована. Если вы сталкиваетесь с проблемами сетевой связанности между вашими ресурсами, пожалуйста, обратитесь в поддержку — мы проверим затронутые маршруты и при необходимости внесем ручные корректировки.
Мы продолжаем внимательно следить за ситуацией и сообщим о значимых изменениях. Подробные разъяснения об атаке и наших действиях в ходе инцидента мы дадим после того, как ее последствия будут полностью устранены.
После переключения конфигурации сети и перенаправления трафика на развернутые комплексы фильтрации нам удалось практически полностью устранить влияние активной DDoS-атаки на инфраструктуру.
Сетевая связанность ресурсов во всех регионах восстановлена. Налажена работа панели управления, отображения и управления ресурсами. Решены проблемы с локальными DNS-резолверами.
Временно могут наблюдаться проблемы в работе VPN-соединений между регионами, увеличение задержек, а также false positive-срабатывания комплекса защиты от DDoS, при которых блокируется легитимный трафик.
Мы продолжаем работы по тонкой настройке системы фильтрации, конфигурации сети и устранению последствий атаки.
Процесс реконфигурации сетевого оборудования и настройки средств фильтрации успешно завершен.
В регионе Ташкент команда уже выполнила переключение на новую схему защиты. Предварительно сетевая связность в регионе восстановлена, ожидается постепенное возвращение доступности всех ресурсов в штатный режим.
Мы просим клиентов проверить работоспособность ваших сервисов со своей стороны и убедиться в их доступности.
Наша команда совместно с операторами связи продолжает перенастройку и адаптацию сетевой инфраструктуру для отражения мощной DDoS-атаки.
Изоляция внешнего трафика помогла восстановить сетевую доступность виртуальных машин в сетях TAS-IX, UZ-IX и KAZ-GOV-IX. Сейчас мы занимаемся решением проблемы резолва DNS для восстановления работы кластеров Kubernetes и Баз данных в регионах Ташкент и Алматы.
Работа по настройке систем фильтрации внешнего трафика для его очистки продолжается. После завершения работ на комплексе очистки, весь внешний трафик будет перенаправлен туда.
В рамках работ по отражению DDoS-атаки на сетевую инфраструктуру в регионе Узбекистан, мы временно изолировали внешний интернет-трафик от внутренних сетей TAS-IX и UZ-IX.
Благодаря этому шагу доступ к сервисам, размещенным в регионе Ташкент, для пользователей из Узбекистана постепенно восстанавливается. Мы продолжаем работу над устранением инцидента и возвращением глобальной сетевой доступности.
В рамках работ по отражению DDoS-атаки на сетевую инфраструктуру в регионе Алматы, мы временно изолировали внешний интернет-трафик от внутренних сетей KAZ-GOV-IX.
Также для фильтрации внешнего трафика мы организовали служебный туннель для перенаправления трафика к развернутым комплексам фильтрации наших партнеров и приступаем к блокировке.
Совместно с операторами связи мы продолжаем расширять пропускную способность каналов и настраивать дополнительную фильтрацию.
Также мы привлекли партнеров для настройки новых маршрутов, чтобы перенаправить часть трафика на специализированные центры очистки.
Следующее обновление статуса мы предоставим по мере появления новой информации.
В настоящее время наблюдаются перебои с сетевой доступностью части наших сервисов. Причиной инцидента стала масштабная DDoS-атака на нашу инфраструктуру, которая затронула все автономные сети компании. Атака нарушила сетевую доступность, но серверы, виртуальные машины и ваши данные находятся в полной безопасности и не затронуты инцидентом.
Команда инженеров совместно с магистральными операторами связи и партнерами по кибербезопасности уже применяет комплекс мер для фильтрации вредоносного трафика и восстановления стабильной работы сети. Мы изолируем контур атаки и перенаправляем трафик через новые защищенные каналы связи.
Из-за высокой интенсивности атаки точные сроки полного восстановления пока неизвестны, мы задействовали все доступные технические ресурсы для скорейшего решения проблемы.
Следующим обновлением статуса мы постараемся поделиться в течение часа, как только появятся существенные изменения в ситуации.
Мы зафиксировали массированные сетевые атаки на инфраструктуру наших дата-центров. На данный момент проблема полностью локализована и будет устранена в самое ближайшее время.
Здравствуйте.
Наблюдаем массовые обращения связанные с недоступностью виртуальных машин в регионах и панели управления.
Недоступность вызвана зафиксированной DDoS атакой.
Профильные инженеры уже занимаются решением проблемы.
← Назад