Персональные инструменты
 

Исследование времени копирования файлов в грид LCG2



В ИПМ РАН в феврале-марте было проведено тестирование службы EDG Replica Manager c целью определения времени и средней скорости передачи файлов в грид LCG2. Были получены простейшие характеристики - времена передачи файлов с пользовательского интерфейса (UI) ИПМ РАН на элементы памяти (SE) российских сайтов грид EGEE и сайта ЦЕРНа.

Это достаточно грубые оценки, поскольку приводятся только времена собственно пересылки файлов, а не полное время выполнения команды пересылки (в частности, неизвестно время коррекции локального каталога реплик), но, как нам кажется, по ним, во-первых, можно получить представление о возможностях той сетевой инфраструктуры, на которую опирается грид, и, во-вторых, ориентируясь на эти данные, можно контролировать состояние сетей.

Методика измерений

Для проведения исследований на узле UI сайта ИПМ были созданы 5 файлов различной длины - 25 байт, 132 Кб, 3.5 Мб, 101.7 Мб, 1.04 Гб. При помощи команды Replica Manager

edg-rm -v --vo dteam cr

файлы регистрировались в грид и копировались с UI на SE. Затем для каждого из зарегистрированных файлов создавались реплики на узлах SE пяти российских институтов - НИИЯФ (Москва), ОИЯИ (Дубна), ИФВЭ (Протвино), ИТЭФ (Москва), ИМПБ (Пущино) - и ЦЕРНа. На сайтах Гатчины, Новгорода и Курчатовского института реплики создать не удалось по разным причинам, не зависящим от ИПМ (например, отсутствие имени SE в Info Service).

Реплики создавались при помощи команды Replica Manager

edg-rm -v --vo dteam rep

Создание реплик было повторено в разные дни. Времена создания реплик брались из протокола выполнения команды.

Средние времена создания реплик (мс)

Сайт Размер файла
25 байт 132 Кб 3.5 Мб 101.7 Мб 1.04 Гб
НИИЯФ 2097 1778 2939 39984 464162
ИФВЭ 3334 1574 2977 29527 171970
ОИЯИ 1759 2033 4408 148565 933994
ИТЭФ 1423 1527 3735 27632 409508
ИМПБ 2235 7482 65507 4081185 20632394
ЦЕРН 3687 3349 14260 291025 1693551


Подробные данные по дням приведены в Таблицах 1-5

Средние скорости передачи файлов (Мбит/сек)

Сайт Размер файла
25 байт 132 Кб 3.5 Мб 101.7 Мб 1.04 Гб
НИИЯФ 0,00009 0,57 9,10 19,40 17,11
ИФВЭ 0,00006 0,64 8,99 26,27 46,19
ОИЯИ 0,00011 0,49 6,07 5,22 19,39
ИТЭФ 0,00013 0,66 7,16 28,08 19,40
ИМПБ 0,00008 0,14 0,41 0,19 0,39
ЦЕРН 0,00005 0,30 1,88 2,67 4,69


Нештатные ситуации

Во время выполнения команд создания реплик иногда случались отказы, которые не повторялись в другой день.

Сообщения об отказах:
  • no SE found in the Info Service
  • there more than one record in the Information system for SE
  • input/output error

Довольно часто (как правило, при обращении к каталогам реплик) выдавалось сообщение "MDS connection failure. Pausing for 5 sec.", после чего работа продолжалась

Таблица 1. Времена создания реплик для файла длиной 25 байт (мс)

Дата Сайт
НИИЯФ ИФВЭ ОИЯИ ИТЭФ ЦЕРН
02.02.2005 * 1346 1390 1313 2632
03.02.2005 * 6386 2050 1425 2811
07.02.2005 * 2025 1411 1434 7898
21.02.2005 3324 1375 * 1353 2756
25.02.2005 1523 1597 1804 ** 3051
01.03.2005 1443 7277 2142 1594 2981


* - no SE found in the Info Service
** - there more than one record in the Information system for SE

Таблица 2. Времена создания реплик для файла длиной 132 Кб (мс)

Дата Сайт
НИИЯФ ИФВЭ ОИЯИ ИТЭФ ЦЕРН
02.02.2005 * 1761 1404 1528 3367
03.02.2005 * 1418 1706 1333 3098
07.02.2005 * 1435 1515 1474 3529
21.02.2005 1778 1683 3507 1772 3402
25.02.2005 1476 1500 1522 1413 3189
01.03.2005 1676 1746 1763 1515 3412


* - no SE found in the Info Service

Таблица 3. Времена создания реплик для файла длиной 3.5 Мб (мс)

Дата Сайт
НИИЯФ ИФВЭ ОИЯИ ИТЭФ ЦЕРН
02.02.2005 * 3953 3755 12160 16161
03.02.2005 * 2569 5400 2042 20348
07.02.2005 * 1435 1515 1474 11831
21.02.2005 2919 2876 4328 1866 9309
25.02.2005 2407 2375 6975 2185 7751
01.03.2005 3942 4659 4476 2685 20163


* - no SE found in the Info Service

Таблица 4. Времена создания реплик для файла длиной 101.7 Мб (мс)

Дата Сайт
НИИЯФ ИФВЭ ОИЯИ ИТЭФ ЦЕРН
21.02.2005 41829 *** 264867 37167 166949
25.02.2005 30246 41930 89719 28688 166221
01.03.2005 47878 17125 91109 17042 539904


*** - input/output error

Таблица 5. Времена создания реплик для файла длиной 1.04 Гб (мс)

Дата Сайт
НИИЯФ ИФВЭ ОИЯИ ИТЭФ ЦЕРН
21.02.2005 424253 *** 957396 836363 1183718
25.02.2005 373730 232183 928032 277648 1058088
01.03.2005 594502 111756 916554 114513 2838847


*** - input/output error