Специфические требования учебного заведения
При составлении проекта ЦОДа учитывалась необходимость высокого модернизационного потенциала системы. В частности, создаваемой инфраструктуры должно быть достаточно для развертывания на ее основе высокопроизводительного вычислительного кластера. К тому же, запланированный период эксплуатации технологической базы заметно превышает срок службы установленного ИТ-оборудования, которое в перспективе будет регулярно обновляться.
Также принималась во внимание идущая реконструкция зданий и помещений университета. Причем, это в полной мере относится к строению, в котором размещается сам ЦОД.
Наконец, инженерная инфраструктура ЦОДа СКФУ должна представлять собой типовую стандартизованную систему, эффективность которой была бы подтверждена практикой предыдущих внедрений. Это требование обусловлено необходимостью оптимизации затрат на техническое обслуживание, заниматься которым предстояло относительно небольшому подразделению, входящему в состав учебного учреждения – привлечение сторонних специалистов допустимо только в самых крайних случаях, вероятность возникновения которых следовало минимизировать.
Иными словами, СКФУ допускал увеличение капитальных затрат (CAPEX), если это гарантировало снижение текущих издержек на поддержку функционирования системы (OPEX). Подобный подход обусловлен особенностями финансирования бюджетных образовательных учреждений.
Варианты реализации
У СКФУ было три возможных варианта реализации ЦОДа: аренда необходимых мощностей в коммерческом ЦОДе, распределенная модель, предполагающая наличие собственного ЦОДа у каждого института или единый ЦОД для всего университета.
Первый вариант характеризуется небольшими стартовыми затратами, однако даже в среднесрочной перспективе он заметно проигрывает остальным по совокупной стоимости владения. Второй предполагает сложности с техническим обслуживанием. Поэтому был выбран третий, причем к нему предъявлялись весьма высокие требования по надежности и энергоэффективности в сочетании с низкими эксплуатационными расходами.
Руководство СКФУ исходило из зрелости рынка ЦОДов, что гарантирует возможность реализации готового комплексного решения, базирующегося на оборудовании одного вендора. Именно такая система полностью удовлетворяла требованиям заказчика, позволяя ему добиться всех поставленных целей.
Выбор партнеров
Проведенный анализ возможных вариантов практических реализаций показал, что компания Schneider Electric готова предложить комплексное моновендорное решение «под ключ», полностью удовлетворяющее требованиям университета. Подобный подход исключал крайне нежелательные для заказчика конфликты интересов подрядчиков и позволял получить единый сервисный контракт, в рамках которого любые возможные неисправности будут устраняться максимально быстро.
Победителем тендера на проведение монтажных и пуско-наладочных работ стал Уральский Центр Систем Безопасности (УЦСБ). Совместно со специалистами Schneider Electric сотрудники этой компании внесли заметный вклад в проектирование системы инженерного обеспечения работы ЦОД.
Сроки
Изыскательские и проектные работы проводились с октября 2014 г. по июнь 2015 г. Подготовка документации была полностью завершена в сентябре 2015 г.
Благодаря слаженной работе специалистов компаний УЦСБ и Schneider Electric все строительно-монтажные работы потребовали меньше года и были закончены в сентябре 2016 г., после чего сразу началась опытная эксплуатация ЦОД.
Результаты опытно-промышленной эксплуатации подтвердили правильность решения руководства СКФУ. Во время глобального отключения централизованного энергоснабжения установленное оборудование переключила электропитание ЦОД на резервную систему, обеспечив тем самым ее непрерывное функционирование.
Устройство ЦОД
ИТ-оборудование ЦОД СКФУ установлено в 25 серверных шкафов APC NetShelter SX высотой 42U. Из них 6 шкафов предназначены для размещения активных и пассивных сетевых устройств и имеют увеличенную ширину 750 мм, что существенно упрощает их техническое обслуживание и позволяет выполнить кабельные сборки оптимальным образом.
Серверный зал размещается на первом этаже здания в специальной гермозоне площадью 65 м², защищающей оборудование от агрессивной окружающей среды. Шкафы расположены в два ряда с организацией общего «холодного коридора» и изоляцией «горячего коридора». Система оповещения о возможном возникновении перегрева включает в себя 31 датчик и позволяет осуществлять непрерывный контроль за текущей температурой. Всего в шкафах имеется 1200 портов для подключения различного ИТ-оборудования. ЦОД рассчитан на суммарную максимальную мощность 180 кВт.
В шкафах установлены измерительные блоки розеток, благодаря которым обслуживающий персонал может контролировать параметры потребления энергии основным оборудованием. Все блоки подключены к единой мониторинговой сети и могут управляться централизованно.
Электропитание ЦОД осуществляется от уже существовавшей на момент начала строительства трансформаторной подстанции ТП412 по двум независимым линиям. Наряду с установленными ИБП подобная схема практически исключает возможность остановки работы основного оборудования из-за перебоев энергоснабжения.
Инженерная система ЦОД
Непосредственно в серверном зале было установлено 8 внутрирядных водяных кондиционеров InRow RC производства Schneider Electric. Общая холодопроизводительность системы составляет 210 кВт.
В каждом ряду располагается один резервный блок, что гарантирует надежную работы всей системы даже в случае отказа какого-либо модуля. Таким образом, температура внутри зала всегда поддерживается на оптимальном для основного оборудования уровне.
Использование водяного кондиционирования потребовало установки чиллерной системы Uniflair. В ее состав входит три холодильных машины ERAF 1221A, работающие в режиме ротации по схеме «2+1».
Если температура окружающей среды опускается ниже +2°C, система переходит в режим фрикулинга, при котором рабочая жидкость охлаждается естественным образом, проходя через радиаторы. Компрессоры при этом выключаются, что позволяет снизить затраты на электроэнергию. Помимо экономии подобный подход увеличивает надежность системы в целом, поскольку исключает необходимость использования длинных трасс, заполненных холодоносителем, находящимся под высоким давлением.
Чиллерная система располагается на наружной площадке, удаленной от здания ЦОД на 130 метров. Для защиты от несанкционированного доступа она имеет специальное ограждение с системой видеонаблюдения, установленной по всему периметру. Это решение вызвано требованием учесть возможные реконструкции зданий, проходящие в университете. Все коммуникации проложены под землей, что минимизирует их случайное повреждение.
Бесперебойное электроснабжение основного оборудования обеспечивают 3 ИБП Galaxy 5500 мощностью 120 кВА каждый. Резервирование реализовано по принципу «кольца», когда каждая стойка получает питание по двум независимым линиям от двух независимых источников.
На уровне отдельного шкафа используется схема резервирования 2N, а на уровне всей системы – 2N+1. Это не только гарантирует бесперебойное электропитание, но и позволяет вывести из эксплуатации любой ИБП для проведения ремонта или технического обслуживания. Вся система при этом останется работоспособной.
Каждый источник запитывается от собственного блока батарей, сроком службы в 10 лет. Поскольку перекрытия первого этажа недостаточно прочны, было принято решение разместить блоки в подвальном помещении.
Подтвержденное во время опытной эксплуатации время автономной работы составляет 15 минут. Этого вполне достаточно для переключения электропитания на резервный генератор мощностью 460 кВт. Он также размещен на наружной площадке.
Преимущества инженерной системы ЦОД СКФУ
Благодаря использованию свободного охлаждения в системе кондиционирования удалось сэкономить примерно 20% электроэнергии, снизив тем самым эксплуатационные расходы. Применение ИБП с КПД 96% также способствует повышению энергоэффективности решения.
Поскольку учебное заведение – место скопления большого количества людей, большое внимание уделялось экологической чистоте решения. Она обеспечивается применением безопасного холодоносителя «Экосол-40» и полной изоляцией системы кондиционирования, исключающей каких-либо протечек в окружающую среду.
Резервирование всех основных элементов инфраструктуры, включая системы кондиционирования и энергоснабжения, позволяет проводить их плановое обслуживание и ремонт без остановки основного оборудования. Таким образом, студентам и преподавателям обеспечивается постоянный доступ к учебным материалам, в чем и заключается главная функция ЦОД.
