Персональные инструменты
 

Кластерные системы



Сегодня наиболее актуальным способом создания мощных многопроцессорных комплексов является кластеризация массово выпускаемых компьютеров, в том числе ПК, с помощью серийного телекоммуникационного оборудования локальных сетей (или более высокопроизводительных соединений типа Myrinet).


Кластер – слабо интегрированная архитектура, как на уровне аппаратуры, так и на уровне операционной системы (ОС). В частности, из-за отсутствия общей памяти на каждый процессорный узел должна быть установлена своя копия ОС, поэтому для работы с кластерными комплексами нужно решить проблемы обслуживания и управления, которые при числе процессоров 64-128, становятся критическими. Перечисленные программные средства позволяют справиться с проблемой “большой системы”, нивелируя разницу между кластером и системами с общей памятью (SMP):





Средства для установки программного обеспечения (ПО) на кластер


Решаемые задачи:
  1. создание репозитария (набора ПО для кластера), обновление его версий;
  2. распределение ПО по узлам кластера;
  3. автоматическая установка ПО на кластерных узлах и их конфигурирование.
Средства регулярного администрирования кластеров

  1. Мониторинг аппаратуры (температура процессора, работа вентилятора, состояние блока питания, и т.п.)
  2. Мониторинг кластеров c автоматизацией реакций на критические события:
  3. Мониторинг производительности КС (визуализация загрузки всех узлов системы в реальном времени)
  4. Возможность выполнения административных команд параллельно на группах кластерных узлов

Кластерные Системы Управления Пакетной Обработкой (СПО)

Первый шаг к использованию вычислительных ресурсов узлов в глобальной среде грид – это их локальная интеграция в многопроцессорный комплекс, который используется в режиме пакетной обработки заданий. Для этой цели разработаны программные продукты, называемые Менеджерами Ресурсов (Resource Manager), кластерными системами управления (Cluster Management System) или Системами управления пакетной обработкой (СПО).

СПО возникли независимо от грид и широко применяются во многих вычислительных центрах коллективной обработки. Известны более двадцати СПО, из которых наиболее популярны свободно распространяемые PBS, SGE и Condor, а также коммерческие LoadLeveler и LSF.

Использование СПО в кластере позволяет перейти от работы с индивидуальными компьютерами, распределенными в локальной сети, к работе с единым многопроцессорным вычислительным комплексом в режиме пакетной обработки заданий. Пользователь может помещать задания в общую для комплекса очередь, используя единый интерфейс для запуска, модификации, снятия и получения информация о заданиях. СПО автоматически распределяет задания по узлам с учетом их загрузки, выполняет и доставляет результаты пользователю. Все СПО имеют богатый настраиваемый набор средств для управления процессом обработки заданий.

Все СПО имеют примерно одинаковые наборы функций, но отличаются по отдельным характеристикам. Системы PBS и SGE примерно равны по своим возможностям и предполагают полное выделение машин под пакетную обработку. Ими поддерживаются сетевые кластеры с однопроцессорными машинами, а также мультипроцессоры SMP и MPP. Отдельные процессоры могут использоваться в монопольном режиме (только одна задача на процессор) или в режиме разделения времени (несколько заданий могут разделять процессор). В последнем варианте при распределении заданий контролируется уровень процессорной загрузки. PBS и SGE имеют аппарат запуска многопроцессорных заданий. В отличие от PBS в последних версиях системы SGE реализован механизм поддержки контрольных точек.

Обобщенная информация о СПО содержится на сайте:
www.clusterresources.com


Интегрированные программные средства для кластеров