• Вопрос к статье "УПРАВЛЕНИЕ ПАРАЛЛЕЛЬНЫМИ ЗАДАНИЯМИ В ГРИДЕ С НЕОТЧУЖДАЕМЫМИ РЕСУРСАМИ"

Здраствуйте.
После прочтения статьи "УПРАВЛЕНИЕ ПАРАЛЛЕЛЬНЫМИ ЗАДАНИЯМИ В ГРИДЕ С НЕОТЧУЖДАЕМЫМИ РЕСУРСАМИ" (которую можно скачать с вашего сайта http://gridclub.ru/library/publication.2007-12-07.4482411642) возник вопрос по поводу рисунков к описанию алгоритма Backfill.
Так вот, цитата из статьи: «В агрессивном варианте (рис. 1) ресурсы резервируются только под самое приоритетное задание из очереди (задание 1). Это означает, что в случае, если это задание не может быть немедленно запущено, метод определяет, когда освободится требуемый ему объём ресурсов, и резервирует их под это задание».
На рис. 1 видим следующее:

Тогда возникает вопрос(см. рис. ниже)

Если следовать алгоритму из статьи, рисунок должен быть следующий:

Собственно вопрос: какой вариант более правильный?

Ошибся, неправильно вставил 2ой рисунок.
Должно было быть так:
На рис. 1 видим следующее:
http://www.picatom.com/f/%20%20-264.html - рисунок в полный размер

Тогда возникает вопрос(см. рис. ниже)
http://www.picatom.com/f/%20-477.html

Ведь в алгоритме указано, что в случае, если это задание не может быть немедленно запущено, метод определяет, когда освободится требуемый ему объем ресурсов. Однако задание-1 может быть запущено немедленно, так как есть необходимые для ресурсы.
Если следовать алгоритму из статьи, рисунок должен быть следующий:
http://www.picatom.com/f/%20_-265.html

Большое спасибо за вопрос. Дело в том, что по задумке первое задание из очереди не должно "помещаться" в то место, куда Вы указали. Просто не очень удачный рисунок. По нему Ваши рассуждения верны. Его следует подправить, и он будет выглядеть следующим образом:

http://www.picatom.com/f/pic1-15.html


В печатной работе эта досадная неточность будет обязательно исправлена.

Еще раз спасибо!

У меня также есть вопросы по этой статье,
но более практические.

1. Испытывался ли Ваш алгоритм на практике ?
Для каких конкретно задач - т.е., интересует для каких задач потребовалось использование нескольких кластеров?
Какая версия MPI при этом использовалась?

2. Какое количество кластеров участвовало в выполнении
этих заданий (т.е., на сколько кластеров было спланировано выполнение задачи), а также сколько узлов/процессоров было задействовано на каждом кластере? Каково было географическое расположение кластеров и какое программное обеспечение Grid использовалось?

3. Как описывается на JDL (или на том языке, который Вы использовали) параллельное задание для обработки Вашим планировщиком ?

Спасибо.

Здравствуйте, Юрий!

Спасибо за Ваши вопросы. Отвечаю по порядку.

1-2. На реальных задачах алгоритм пока что не испытывался. Эксперименты проводились только на модельных данных. Они позволили получить некоторые интересующие нас времена (время сопоставления слота с заданием, среднее время планирования одного задания и т.п.).

В прототипе диспетчера используется программное обеспечение GT4, локальный менеджер PBS (Torque), планировщик Maui. В скором времени мы подготовим статью, посвященную реализации этой системы. Она также будет опубликована на нашем сайте.

3. Описание задания для диспетчера составляется на языке RSL, заданном с помощью XML-схемы, и содержит помимо стандартных параметров, используемых в описании задания для GT4 GRAM, параметры, специфичные для процесса автоматического выбора ресурсов. К таким параметрам относятся: оценка длительности выполнения задания, плата за задание, требуемая архитектура и т.п.

Спасибо за ответ, но всё-таки остались непроясненными 2 вопроса.

1. Ваш прототип диспетчера предназначен для работы с заданиями,
которые предполагается выполнять на нескольких кластерах. Верно?
На каком MPI Вы собираетесь реализовывать эти задания
(или, может быть, уже имеете реализованными)?

2. Как конкретно происходит коаллокация ресурсов и одновременный старт
задания на нескольких кластерах? Ведь на одном кластере задание
может быть 1-ым в очереди, на другом - 100-ым, а на 3-ем - 1000-ым?
Какое программное обеспечение реализует одновременный старт заданий
на всех кластерах?

Спасибо.

Юрий, еще раз спасибо за внимание к нашим исследованиям и интересные вопросы. Отвечаю.

1. Да, верно. Детально этот вопрос нами не изучался. Предполагается, что задания можно реализовывать на MPICH-G2 (MPICH-G4).

2. Одновременный старт происходит благодаря предварительному резервированию ресурсов под компопоненты задания в разных кластерах. Для того, чтобы задание, поступившее в локальный менеджер, могло запуститься только внутри созданного для него резервирования, в описании задания указывается идентификатор этого резервирования, который потом передается в качестве параметра команде запуска заданий локального менеджера.

Более подробно об этом будет написано в статье, посвященной реализации диспетчера.