Как перевести в облако работу с «тяжелыми» данными

Фото: пресс-служба

Сегодня переход на облачную инфраструктуру дает много преимуществ даже при работе с самым «тяжелым» контентом — таким, например, как хранилище онлайн-кинотеатра. Опыт МТС свидетельствует, что такие технологии способны сделать более высокопроизводительной работу даже классических сотрудников — видеоинженеров.

Весь видеоконтент, который ранее был представлен в сервисе «МТС ТВ», а затем переехал в онлайн-кинотеатр KION, проходит через руки этих сотрудников. Исходный видеоконтент в виде, в котором он поступает от правообладателей, публиковать нельзя — он должен переформатироваться согласно техническим требованиям платформы. К тому же исходный видеофайл от правообладателей может быть, например, без перевода на русский язык или иметь огромный, не подходящий для платформ размер. Наконец, есть совместный спортивный видеоконтент с партнерами — организаторами соревнований, и у них свои технические требования. В общем, без работы видеоинженера, подгоняющего видео под требуемые форматы, не обойдешься. На сегодняшний день их силами готовится по 500–700 часов контента еженедельно, а в предновогодние дни объем траффика возрастает.

До 2019 года видеоконтент МТС хранился на собственных серверах. Работа по его проверке и редактированию велась на мощных стационарных графических станциях, а доступ к хранилищу данных был организован по локальной сети. Покупка графических станций обходилась дорого, к тому же локальное хранилище не отличалось надежной физической защищенностью. Во время сбоев на электросетях были случаи, когда серверы падали, а однажды комнату с ними даже залило водой.

После начала пандемии видеоинженерам пришлось перейти на работу из дома, а доступ к графическим станциям в офисе был организован через VPN. Эта схема привела к ряду проблем. Из-за нестабильного сетевого соединения увеличилось число зависаний и других сбоев — примерно на 30–50%. Кроме того, упала скорость загрузки обработанного контента в локальное хранилище данных — на 20–30%. Наконец, снизилась производительность труда видеоинженеров — еще примерно на 20%.

В 2021 году МТС запустила онлайн-кинотеатр KION. В процессе подготовки проекта объем работ с видеоконтентом резко вырос, как и требования к его качеству и скорости обработки. Как следствие, понадобились дополнительные видеоинженеры, а им, в свою очередь, новые графические станции. Надо сказать, что сама по себе профессия видеоинженера — редкая, кандидатов мы искали по всей стране. Но поставка нового оборудования во время пандемии занимала даже больше времени, чем поиск соискателей. К проблемам добавились рост стоимости техники и новые задержки поставок на месяц-два из-за популярности майнинга криптовалют (в машинах для этого тоже требуются графические процессоры). Выросли и затраты на регулярное обслуживание техники. Ведь в случае проблем с графической станцией до офиса должен был во время карантина еще доехать системный администратор.

В итоге в компании нашли альтернативное решение. Сначала в KION решили перейти с физического хранилища видеоконтента на облачное. Это было сделано для повышения скорости и стабильности доступа. Дополнительным фактором в пользу этого стал переезд KION в другой офис, где не было места для своей серверной комнаты. Позже сыграли свою роль и введенные иностранными вендорами ограничения на поддержку и апдейт ПО для хранения данных.

На следующем этапе альтернатива была найдена и графическим станциям. Речь о виртуальных рабочих местах в облаке MWS на базе высокопроизводительных графических процессоров VDI GPU. По технологии VDI на обычном ноутбуке включается виртуальный рабочий стол с установленной операционной системой, а все вычисления, в том числе графические, происходят в удаленном ЦОД. Это позволяет «выдать» на довольно слабый ноутбук любой объем ресурсов, а в случае с KION — еще и обеспечивать доступ к графическим процессорам.

Перед переводом в облако всего объема работ в KION провели сравнительное тестирование, показавшее преимущество виртуальных машин перед физическими — за счет ускорения загрузки и выгрузки контента, а также снижения количества и продолжительности сбоев и задержек. К тому же в компании посчитали и прямую выгоду, которую обеспечивает снижение эксплуатационных и капитальных затрат за счет отказа от закупок оборудования, а также возможность гибкого и быстрого масштабирования IТ-инфраструктуры. Наконец, новая схема позволила видеоинженеру организовывать параллельную работу с одного ноутбука сразу на нескольких виртуальных графических станциях. Например, пока на одном из них идет продолжительный обсчет видеоконтента, на другом сотрудник может работать с текущими задачами. К преимуществам можно отнести и уменьшение сроков «выделения» дополнительных графических станций. Раньше нужно было закупать и ждать заказанную технику неделями и месяцами. Сейчас по запросу к облачному провайдеру происходит выдача полноценного рабочего места, на котором видеоинженер может начать работу в течение двух дней.

В итоге все видеоинженеры KION перешли на технологию VDI.

Основной сложностью в процессе перехода с обособленных графических станций на облачные виртуальные машины стали долгие тесты. Видеоинженеры должны были протестировать, как происходит работа с их ПО на виртуальных рабочих столах, и понять, какие им необходимы ресурсы и дополнительные настройки в протоколах доставки видеоконтента для работы. Этот процесс, как правило, занимал около двух недель.

Конечно, при работе с облачными технологиями возникает вопрос информационной безопасности. Но надежность облака обеспечивается в первую очередь тем, что ЦОД строится по определенным жестким требованиям и должен гарантировать клиенту высокий уровень безопасности. В нашем случае провайдер MWS гарантирует 99,99% доступности сервисов в течение всего времени работы.