Как построить ЦОД для вуза

В 2012 г. Правительством РФ был создан Северо-Кавказский федеральный университет, в который вошли три ведущих вуза региона. Согласно существующим планам, к 2021 г. СКФУ должен стать крупнейшим высшим учебным заведением Северо-Кавказского федерального округа. Объединение вузов поставило перед новым образовательным учреждением задачу максимально эффективной консолидации их ресурсов и создание общей информационной системы. Один из важнейших ее элементов – единый ЦОД, обеспечивающий не только сохранность всех учебных и научных материалов, но и их доступность для студентов и преподавателей.

Специфические требования учебного заведения

При составлении проекта ЦОДа учитывалась необходимость высокого модернизационного потенциала системы. В частности, создаваемой инфраструктуры должно быть достаточно для развертывания на ее основе высокопроизводительного вычислительного кластера. К тому же, запланированный период эксплуатации технологической базы заметно превышает срок службы установленного ИТ-оборудования, которое в перспективе будет регулярно обновляться.

Также принималась во внимание идущая реконструкция зданий и помещений университета. Причем, это в полной мере относится к строению, в котором размещается сам ЦОД.

Наконец, инженерная инфраструктура ЦОДа СКФУ должна представлять собой типовую стандартизованную систему, эффективность которой была бы подтверждена практикой предыдущих внедрений. Это требование обусловлено необходимостью оптимизации затрат на техническое обслуживание, заниматься которым предстояло относительно небольшому подразделению, входящему в состав учебного учреждения – привлечение сторонних специалистов допустимо только в самых крайних случаях, вероятность возникновения которых следовало минимизировать.

Иными словами, СКФУ допускал увеличение капитальных затрат (CAPEX), если это гарантировало снижение текущих издержек на поддержку функционирования системы (OPEX). Подобный подход обусловлен особенностями финансирования бюджетных образовательных учреждений.

Варианты реализации

У СКФУ было три возможных варианта реализации ЦОДа: аренда необходимых мощностей в коммерческом ЦОДе, распределенная модель, предполагающая наличие собственного ЦОДа у каждого института или единый ЦОД для всего университета.

Первый вариант характеризуется небольшими стартовыми затратами, однако даже в среднесрочной перспективе он заметно проигрывает остальным по совокупной стоимости владения. Второй предполагает сложности с техническим обслуживанием. Поэтому был выбран третий, причем к нему предъявлялись весьма высокие требования по надежности и энергоэффективности в сочетании с низкими эксплуатационными расходами.

Руководство СКФУ исходило из зрелости рынка ЦОДов, что гарантирует возможность реализации готового комплексного решения, базирующегося на оборудовании одного вендора. Именно такая система полностью удовлетворяла требованиям заказчика, позволяя ему добиться всех поставленных целей.

Выбор партнеров

Проведенный анализ возможных вариантов практических реализаций показал, что компания Schneider Electric готова предложить комплексное моновендорное решение «под ключ», полностью удовлетворяющее требованиям университета. Подобный подход исключал крайне нежелательные для заказчика конфликты интересов подрядчиков и позволял получить единый сервисный контракт, в рамках которого любые возможные неисправности будут устраняться максимально быстро.

Победителем тендера на проведение монтажных и пуско-наладочных работ стал Уральский Центр Систем Безопасности (УЦСБ). Совместно со специалистами Schneider Electric сотрудники этой компании внесли заметный вклад в проектирование системы инженерного обеспечения работы ЦОД.

Сроки

Изыскательские и проектные работы проводились с октября 2014 г. по июнь 2015 г. Подготовка документации была полностью завершена в сентябре 2015 г.

Благодаря слаженной работе специалистов компаний УЦСБ и Schneider Electric все строительно-монтажные работы потребовали меньше года и были закончены в сентябре 2016 г., после чего сразу началась опытная эксплуатация ЦОД.

img2452.jpg
ИТ-оборудование ЦОД СКФУ установлено в 25 серверных шкафов APC NetShelter SX высотой 42U.

Результаты опытно-промышленной эксплуатации подтвердили правильность решения руководства СКФУ. Во время глобального отключения централизованного энергоснабжения установленное оборудование переключила электропитание ЦОД на резервную систему, обеспечив тем самым ее непрерывное функционирование.

Устройство ЦОД

ИТ-оборудование ЦОД СКФУ установлено в 25 серверных шкафов APC NetShelter SX высотой 42U. Из них 6 шкафов предназначены для размещения активных и пассивных сетевых устройств и имеют увеличенную ширину 750 мм, что существенно упрощает их техническое обслуживание и позволяет выполнить кабельные сборки оптимальным образом.

Серверный зал размещается на первом этаже здания в специальной гермозоне площадью 65 м², защищающей оборудование от агрессивной окружающей среды. Шкафы расположены в два ряда с организацией общего «холодного коридора» и изоляцией «горячего коридора». Система оповещения о возможном возникновении перегрева включает в себя 31 датчик и позволяет осуществлять непрерывный контроль за текущей температурой. Всего в шкафах имеется 1200 портов для подключения различного ИТ-оборудования. ЦОД рассчитан на суммарную максимальную мощность 180 кВт.

В шкафах установлены измерительные блоки розеток, благодаря которым обслуживающий персонал может контролировать параметры потребления энергии основным оборудованием. Все блоки подключены к единой мониторинговой сети и могут управляться централизованно.

img3314.jpg
Чиллерная система располагается на наружной площадке, удаленной от здания ЦОД на 130 метров. Для защиты от несанкционированного доступа она имеет специальное ограждение с системой видеонаблюдения, установленной по всему периметру.

Электропитание ЦОД осуществляется от уже существовавшей на момент начала строительства трансформаторной подстанции ТП412 по двум независимым линиям. Наряду с установленными ИБП подобная схема практически исключает возможность остановки работы основного оборудования из-за перебоев энергоснабжения.

Инженерная система ЦОД

Непосредственно в серверном зале было установлено 8 внутрирядных водяных кондиционеров InRow RC производства Schneider Electric. Общая холодопроизводительность системы составляет 210 кВт.

В каждом ряду располагается один резервный блок, что гарантирует надежную работы всей системы даже в случае отказа какого-либо модуля. Таким образом, температура внутри зала всегда поддерживается на оптимальном для основного оборудования уровне.

Использование водяного кондиционирования потребовало установки чиллерной системы Uniflair. В ее состав входит три холодильных машины ERAF 1221A, работающие в режиме ротации по схеме «2+1».

Если температура окружающей среды опускается ниже +2°C, система переходит в режим фрикулинга, при котором рабочая жидкость охлаждается естественным образом, проходя через радиаторы. Компрессоры при этом выключаются, что позволяет снизить затраты на электроэнергию. Помимо экономии подобный подход увеличивает надежность системы в целом, поскольку исключает необходимость использования длинных трасс, заполненных холодоносителем, находящимся под высоким давлением.

Чиллерная система располагается на наружной площадке, удаленной от здания ЦОД на 130 метров. Для защиты от несанкционированного доступа она имеет специальное ограждение с системой видеонаблюдения, установленной по всему периметру. Это решение вызвано требованием учесть возможные реконструкции зданий, проходящие в университете. Все коммуникации проложены под землей, что минимизирует их случайное повреждение.

Бесперебойное электроснабжение основного оборудования обеспечивают 3 ИБП Galaxy 5500 мощностью 120 кВА каждый. Резервирование реализовано по принципу «кольца», когда каждая стойка получает питание по двум независимым линиям от двух независимых источников.

На уровне отдельного шкафа используется схема резервирования 2N, а на уровне всей системы – 2N+1. Это не только гарантирует бесперебойное электропитание, но и позволяет вывести из эксплуатации любой ИБП для проведения ремонта или технического обслуживания. Вся система при этом останется работоспособной.

Каждый источник запитывается от собственного блока батарей, сроком службы в 10 лет. Поскольку перекрытия первого этажа недостаточно прочны, было принято решение разместить блоки в подвальном помещении.

Подтвержденное во время опытной эксплуатации время автономной работы составляет 15 минут. Этого вполне достаточно для переключения электропитания на резервный генератор мощностью 460 кВт. Он также размещен на наружной площадке.

Преимущества инженерной системы ЦОД СКФУ

Благодаря использованию свободного охлаждения в системе кондиционирования удалось сэкономить примерно 20% электроэнергии, снизив тем самым эксплуатационные расходы. Применение ИБП с КПД 96% также способствует повышению энергоэффективности решения.

Поскольку учебное заведение – место скопления большого количества людей, большое внимание уделялось экологической чистоте решения. Она обеспечивается применением безопасного холодоносителя «Экосол-40» и полной изоляцией системы кондиционирования, исключающей каких-либо протечек в окружающую среду.

Резервирование всех основных элементов инфраструктуры, включая системы кондиционирования и энергоснабжения, позволяет проводить их плановое обслуживание и ремонт без остановки основного оборудования. Таким образом, студентам и преподавателям обеспечивается постоянный доступ к учебным материалам, в чем и заключается главная функция ЦОД.


статьи
Более 20% отказов дата-центров происходит в момент ошибок при обслуживании Количество оборудования дата-центров увеличивается, разветвленную инфраструктуру все сложнее контролировать. Не удивительно, что многие корпоративные и коммерческие ЦОДы задумываются о внедрении систем управления. О возможностях и экономической эффективности таких решений мы побеседовали с Андреем Ивашовым, руководителем по развитию бизнеса компании Schneider Electric. Периферийные вычисления: трансформация принципов построения ИТ в процессе цифровизации бизнеса Одним из ключевых трендов, оказывающих существенное влияние на развитие ИТ-рынка, стала цифровая трансформация бизнеса. Она сопровождается повсеместным проникновением информационных технологий в процессы компаний и влечет за собой рост требований к поддерживающей их ИТ-инфраструктуре. В этой статье мы расскажем о некоторых полезных технологиях и способах их реализации. Что там, за облаками? Облачные технологии не стали абсолютно универсальным инструментом для решения любых ИТ-задач. Это привело к развитию специализированных технологий, одна из которых периферийные вычисления. Как построить цифровую реальность Пока эксперты спорят и уточняют определение термина «цифровая экономика», работы в этом направлении на российском рынке набирают обороты. Рынок периферийных вычислений вырастет в пять раз к 2023 Мировой рынок периферийных вычислений вырастет к 2023 году до $4,6 млрд. Рост обеспечит широкое внедрение в повседневную жизнь интернета вещей, виртуальной и дополненной реальности, а также переход на новый стандарт связи 5G. Безопасность дата-центров: «облака» сгущаются Про технологическую культуру, роль государства в предотвращении информационных угроз и ответственность за безопасность пойдет речь в статье Архитектура EcoStruxure для предприятий АПК Решения Schneider Electric по обеспечению безопасности и управлению задействованы на крупнейшем перерабатывающем заводе в мире. Schneider Electric и перспективы развития коммерческих ЦОДов Увеличение спроса на централизованные площадки для размещения серверной инфраструктуры влечёт за собой и рост продаж всего сопутствующего оборудования: систем энергообеспечения, кондиционирования, контроля и управления.
Алексей Солдатов,
генеральный директор DataPro
мнение эксперта
У России есть шансы выйти на международный рынок коммерческих ЦОДов, однако для этого нужна помощь государства. Сегодня в этом секторе наблюдается острый дефицит предложения. Те, кто быстро построит здания мирового уровня, смогут занять на нем существенное место, считают Алексей Солдатов, генеральный директор DataPro, и Роман Шмаков, вице-президент подразделения SecurePower в России и СНГ компании Schneider Electric.
Александр Саванович,
вице-президент по сервису компании Schneider Electric в России и СНГ
мнение эксперта
Развитие сервисов становится одним из приоритетных направлений бизнеса всех технологических компаний. Какие услуги предоставляет своим заказчикам Schneider Electric и как будет развиваться сервисное подразделение компании в России?
Наталия Макарочкина,
старший вице-президент подразделения Secure Power в зоне International компании Schneider Electric
мнение эксперта
Перемещение вычислений к месту создания обрабатываемых данных является прямым следствием цифровизации бизнеса. Они должны быть как можно ближе заказчику. Особенно это касается автономных систем, действующих в режиме реального времени.
Роман Шмаков,
вице-президент подразделения Secure Power компании Schneider Electric в России и СНГ
мнение эксперта
Для развития Edge Computing потребуется относительно автономная, удаленно контролируемая архитектура, так как периферийные узлы находятся вне физического доступа со стороны службы заказчика. Здесь крайне важно иметь сквозную интегрированную систему мониторинга и управления, чтобы понимать состояние инфраструктуры, повышать ее операционную эффективность.
Тимур Алтышев,
директор департамента по работе с ключевыми сегментами подразделения Secure Power компании Schneider Electric
мнение эксперта
Глобальная цифровизация ведёт к тому, что практически все элементы инженерной инфраструктуры либо уже имеют встроенные датчики, либо могут быть ими оснащены, поэтому количество элементов, которые необходимо мониторить, либо управлять ими, становится слишком большим, чтобы работать с каждым в отдельности.
Дмитрий Желтков,
директор департамента по работе с заказчиками коммерческого сектора подразделения Secure Power компании Schneider Electric.
мнение эксперта
В условиях перехода многих компаний в коммерческие ЦОДы, вопросы бесперебойного электропитания ИТ-систем переносятся с площадки заказчика на сторону внешнего дата-центра. Однако, актуальным остается вопрос бесперебойной работы инженерных систем, не связанных с ИТ. ИБП для таких систем имеют свою специфику, и к их выбору следует подходить с особым вниманием.
Для вашего бизнеса
инфографика Открыть инфографику
кейсы