[Главная]

перспектИВНЫЕ МОДЕЛИ СУПЕРКОМПЬЮТЕРОВ «СКИФ»

С.М. Абрамов, В.В. Анищенко, В.Ф. Заднепровский, А.А. Московский, Н.Н. Парамонов, О.П. Чиж

В процессе реализации программы Союзного государства «СКИФ» были созданы кластерные конфигурации «СКИФ» [1] Ряда-1 и Ряда-2 производительностью до нескольких триллионов операций в секунду, разработаны системное программное обеспечение и языковые средства для этих моделей суперкомпьютеров «СКИФ». Перспективы развития суперкомпьютерных технологий «СКИФ» и основные принципы создания моделей семейства персональных кластеров в рамках программы Союзного государства «Триада» на базе идеологии кластерных конфигураций «СКИФ» были изложены в работе [2]. В настоящем докладе рассматриваются основные принципы реализации программы Союзного государства «Разработка и использование программно-аппаратных средств ГРИД-технологий перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ» (шифр «СКИФ-ГРИД») в части создания перспективных моделей суперкомпьютеров «СКИФ» РядаЗ и Ряда-4. Сроки реализации программы «СКИФ-ГРИД» — 2007-2010 г.г., головные исполнители — ОИПИ НАН Беларуси и ИПС РАН.

Главная цель проводимых работ по рассматриваемому направлению — создание опытных образцов суперкомпьютеров «СКИФ» следующего поколения (РядЗ и Ряд 4), ориентированных на использование в Грид-системах и основанных на новых решениях для вычислительных узлов, новых технологиях взаимодействия узлов (интерконнект) и управления узлами и кластерами, на использовании гибридных узлов, различного набора реконфигурируемых и специализированных вычислителей. Для достижения этой цели предусмотрены следующие основные мероприятия:

• Разработка набора базового программного обеспечения для суперкомпьютеров «СКИФ» Ряда 3 и 4.
• Создание программных средств эффективной разработки высокопроизводительных приложений для суперкомпьютеров семейства «СКИФ» Ряда 3 и 4.
• Разработка научно-технических решений и создание базовых конфигураций и опытных образцов суперкомпьютеров семейства «СКИФ» Ряда 3 и 4.

В результате выполнения этих мероприятий будут получены следующие основные результаты:

• Комплекс базового программного обеспечения суперкомпьютеров «СКИФ», включающий в себя операционную систему, средства аутентификации пользователей, очередь заданий и средства мониторинга. Комплект программной документации.
• Набор технологий и программного обеспечения, обеспечивающих процесс эффективной разработки параллельного программного обеспечения для суперкомпьютеров семейства «СКИФ». Комплекты программной документации.
• Опытные образцы базовых конфигураций суперкомпьютерных систем (БКСС) семейства «СКИФ» Ряда 3 и 4 и комплекты конструкторской документации, разработанные на основе использования современной и перспективной элементной базы, обеспечивающей оптимизацию технических характеристик (потребляемая мощность, производительность, массогабаритные показатели) суперкомпьютеров семейства «СКИФ».

Основные требования к перспективным моделям «СКИФ»:

• поддержка использования их в Грид-системах;
• программная совместимость с кластерами семейства «СКИФ» Ряда 1 и Ряда 2;
• новые технологии взаимодействия узлов и управления узлами и кластерами;
• повышенные плотность вычислительной мощности и уровень энергопотребления на единицу объема (в 1,5 - 2,0 раза больше по сравнению с кластерами семейства «СКИФ» Ряда 1 и 2);
• использование 64-разрядных многоядерных процессоров;
• уменьшение количества внешних связей между вычислительными узлами и сетевыми коммутаторами в 2,0- 2,5 раза по сравнению с кластерными системами семейства «СКИФ» Ряда 1 и 2;
• расширенные сервисные функции (мониторинг внутренней температуры, контроль работы системы вентиляции и др.;
• поддержка виртуализации.

Использование виртуализации обеспечивает:

• возможность запуска множества операционных систем одновременно;
• гарантированную изоляцию ОС друг от друга (обеспечение безопасности приложений за счет распределения задач администрирования, снижения потенциальных вредных последствий взлома какой-либо из служб, использования принципа «одна виртуальная машина на пользователя»);
• возможность гибкого разделения ресурсов между машинами (приоритезация задач, выделение памяти по требованию, гибкое распределение сетевого трафика между машинами, распределение дисковых ресурсов).

Основные усилия по разработке отечественных технических решений и выпуску опытных моделей суперкомпьютеров семейства «СКИФ» можно разделить на следующие этапы:

• 2007 год: модернизация «СКИФ К-1000»;
• 2007-2008 год: создание нового флагманского суперкомпьютера «СКИФ Т-60»;
• 2007-2010 годы: разработка отечественных технических решений для перспективных суперкомпьютеров семейства «СКИФ» (blade-серверные решения, отечественный интерконнект, решения в области ускорителей и т.п.).
• 2009-2010 годы: создание опытных образцов суперкомпьютера семейства «СКИФ» для отработки решений на перспективу (радикальное улучшение показателя «производительность на ватт», использование гибридных вычислительных узлов и новых архитектурных решений).

Ниже эти этапы будут описаны более подробно.

Модернизация «СКИФ К-1000» (2007 г.). В рамках программы планируется создать в 2007 году cуперкомпьютерную конфигурацию семейства «СКИФ» Ряда 3 на базе суперкомпьютера «СКИФ К-1000». Основная идея модернизации «СКИФ К-1000» — замена одноядерных процессоров AMD Opteron 248, 2.2 GHz на двухъядерные процессоры AMD Opteron 200 серии, 2.4-2.8 GHz. Пиковая производительность модернизированного суперкомпьютера составит 5-6 TFlops, а применение новых процессоров позволит эффективно использовать «СКИФ К-1000» в Грид-системах.

Создание нового флагманского суперкомпьютера «СКИФ Т-60» (2007-2008 гг.). На первом этапе программы (2007-2008 г.г.) планируется также с использованием привлеченных средств разработать комплекты конструкторской и программной документации (КД и ПД) и изготовить в 2008 году опытный образец суперкомпьютера семейства «СКИФ» Ряда 3 с пиковой производительностью 60-80 TFlops. Далее будем использовать рабочее название данной установки «СКИФ Т-60». Установка «СКИФ Т-60» будет создаваться с использованием базе современных четырехъядерных процессоров и самой производительной (на текущий момент) модификацией сети Infmiband.

Место расположения («точка стояния») суперкомпьютера «СКИФ Т-60» и состав соисполнителей проекта будут выбираться при помощи тендера (конкурса) со следующими требованиями:

• привлечение дополнительных средств в проект, в объеме не менее 100-120 млн. рублей (из программы «СКИФ-ГРИД» на проект «СКИФ Т-60» выделено 90 млн. рублей, общая стоимость проекта «СКИФ Т-60» составит не менее 190-210 млн. рублей);
• включение «СКИФ Т-60» в российскую научную сеть с высокой пропускной способностью и низкими задержками;
• обеспечение загрузки «СКИФ Т-60» в месте расположения содержательными, важными задачами;
• согласие на включение «СКИФ Т-60» в состав так называемого «СКИФ-Полигона» (Грид-системы, создаваемой в рамках программы) с предоставлением ресурсов в интересах всех участников программы;
• наличие команды исполнителей с опытом и квалификацией, обеспечивающей успешное создание установки и эффективную последующую ее эксплуатацию.

Разработка отечественных технических решений для перспективных суперкомпьютеров семейства «СКИФ» (2007-2010 гг.). Программа «СКИФ-ГРИД» предусматривает проведение различных работ в области разработки отечественных технических решений и компонент, необходимых для создания суперкомпьютеров семейства «СКИФ» Ряда-3 и Ряда-4. Среди таких разработок упомянем: создания собственных blade-серверных решений, разработку отечественный средств сопряжения вычислительных узлов интерконнект), развитие отечественных решений в области вычислительных ускорителей и т.п. Остановимся подробнее на создании blade-серверных решений.

Тенденции развития информационных технологий диктуют необходимость повышения мощности вычислительных конфигураций для решения высокопроизводительных прикладных задач. Выпускаются новые процессоры, развиваются подсистемы памяти, коммуникационные шины, системы хранения. Однако простое увеличение количества серверов в стойках приводит и к пропорциональному увеличению выделяемого тепла, количества коммуникационных кабелей, потребляемой электроэнергии и, конечно, к увеличению общего объема изделия. Использование blade-серверов позволяет решить эти проблемы. Основа blade-кластера — сверхкомпактные серверы, blade-серверы (серверы-лезвие). Серверы-лезвие не представляют собой новое архитектурное решение, а являются конструктивно-технологическим решением, позволяющим более плотно упаковывать аппаратные компоненты. По оценкам фирмы SUN плотность размещения аппаратных компонентов в серверах-лезвие может быть в несколько раз выше, чем при применении серверов форм-фактора 1U.

Серверы-лезвия помещаются в специальные отсеки шасси. Шасси (корпус) может иметь законченное решение и поставляться пользователю, может так же иметь конструкцию для установки в стойку 19" высотой 22-25 U. Серверы-лезвие оптимальны для реализации горизонтального масштабирования производительности кластеров за счет увеличения количества серверных платформ и конструктивных модулей (шасси, стойки).

С учетом областей применения модификации blade-кластера могут быть использованы для реализации кластерной отказоустойчивой архитектуры с общей подсистемой хранения данных. Такая реализация может поддерживать режимы резервирования вычислительных узлов, каналов доступа к системе хранения данных, сетевых коммутаторов и режимы автоматического перераспределения заданий между исправными аппаратными компонентами.

По данным экспертов серверы типа «лезвие» являются в настоящее время одним из самых востребованных решений серверного рынка. По прогнозам IDC в 2007 году мировые продажи серверов "лезвие" достигнут 6 млрд. долларов, в 2008 г. — 9 млрд. долларов. Сейчас в этом секторе борьба идет в основном между IBM и HP. По разным данным суммарная доля этих компаний составляет 60 %

Высокие вычислительные возможности кластеров на основе блейд-технологий характеризуются наличием кластеров этого типа в Тор500. Причем это количество увеличивается. Так, в ноябре 2005 года их было 71, в июле 2006 года - 132, в ноябре 2006 - 145.

Создание опытных образцов суперкомпьютера семейства «СКИФ» для отработки решений на перспективу (2009-2010 гг.). На втором этапе программы «СКИФ-ГРИД» (2009-2010 г.г.) планируется разработать комплекты КД и изготовить опытные образцы суперкомпьютеров семейства «СКИФ» Ряда-4. Особое внимание будет уделено радикальному улучшению таких показателей, как «производительность на ватт», «производительность на объем», «производительность на стоимость». Причем, производительность, конечно, интересует реальная, достигнутая для заданных «целевых» приложений. При создании опытных образцов суперкомпьютеров семейства «СКИФ» Ряда-4 будут широко использоваться:

• новые многоядерные процессоры;
• разработанные отечественные технические средства в части blade-решений и интерконнекта;
• различные ускорители и гибридные вычислительные узлы;
• новые архитектурные решения.

При выполнении данных работ, по сути, будет создан научно-технический задел для дальнейшего развития суперкомпьютерных технологий «СКИФ».

Работы по созданию программного обеспечение суперкомпьютеров семейства «СКИФ-ГРИД». В части базового программного обеспечения (ПО) плакируется создание набора ПО, обеспечивающего основные потребности пользователей кластеров и суперкомпьютеров семейства «СКИФ»:

• Операционная система
• Средства администрирования
• Средства мониторинга
• Набор тестов производительности
• и др.

Предполагается не только разработка собственного ПО, но и широкое использование существующих программных продуктов с открытыми исходными текстами. Стандартный набор ПО призван унифицировать работу с разными установками семейства «СКИФ», упростить развёртывание СКИФ-Полигона.

В части работ, связанных с технологиями распараллеливания вычислений предполагается развитие следующих направлений:

• Развитие языковых средств для распараллеливания вычислений. Создание новых версий Т-системы [3, 4], оптимизированных для новых перспективных аппаратных платформ. Расширение номенклатуры средств для распараллеливания вычислений (на кластерах и/или в распределенных системах), за счет использования в программе «СКИФ» других перспективных отечественных разработок в этой области: X-СОМ, DVM и т.п.
• Развитие библиотек шаблонов для параллельных вычислений.
• Адаптация существующих библиотек для высокопроизводительных вычислений.

В перспективе хотелось бы разработать среду для параллельного программирования поддерживающего широкий спектр параллельных платформ; по возможности достичь реализации лозунга: «единый код для различных платформ: многоядерной ЭВМ, SMP, кластера, Grid и т.п.».

ЛИТЕРАТУРА:

1. С.В. Абламейко, С.М.Абрамов, В.В. Анищенко, Н.Н.Парамонов, О.П. Чиж Суперкомпьютерные конфигурации СКИФ. Минск: ОИПИ НАН Беларуси, 2005, цв. ил. - 170 с. - ISBN 985-6744-19-9.
2. С.М. Абрамов, В.В. Анищенко, Н.Н. Парамонов, Перспективы развития суперкомпьютерных технологий «СКИФ» // Труды Всероссийской научной конференции «Научный сервис в сети Интернет-технологии параллельного программирования», Новороссийск, 18-23 сентября 2006 г., Изд-во Московского университета, 2006.
3. С.М. Абрамов, А.А. Кузнецов, В.А. Роганов. Кросс-платформенная версия Т-системы с открытой архитектурой // Вычислительные методы и программирование. 2007. Том 8, Раздел 2. стр. 18-23
4. Sergey Abramov, Alexei Adamovich, Alexander Inyukhin, Alexander Moskovsky, Vladimir Roganov, Elena Shevchuk, Yuri Shevchuk, and Alexander Vodomerov. OpenTS: An Outline of Dynamic Parallelization Approach // Parallel Computing Technologies: 8th International Conference, PaCT 2005, Krasnoyarsk, Russia, September 5-9, 2005. Proceedings. Editors: Victor Malyshkin — Berlin etc. Springer, 2005. — Lecture Notes in Computer Science: Volume 3606, pp. 303-312