.RU

Отчет о научно-исследовательской работе





РОССИЙСКАЯ АКАДЕМИЯ НАУК

ИНСТИТУТ ПРОГРАММНЫХ СИСТЕМ


Номер регистрации:

10002-251/П-21/101-111/270603-934


УТВЕРЖДАЮ

И.о. директора ИПС РАН


________________ С.М. Абрамов

«____» ____________2003 г.



ОТЧЕТ

О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ

Функционально-ориентированные T-суперструктуры как эффективное средство для построения высокопроизводительных распределённых приложений и сервисов
по теме:

«Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологий GRID» Программы фундаментальных научных исследований ОИТВС РАН «Оптимизация вычислительных архитектур под конкретные классы задач, информационная безопасность сетевых технологий»


Руководитель темы ______________________С. М. Абрамов

подпись


Ответственные

исполнители ______________________ В.А. Роганов

подпись


______________________ А.А. Московский

подпись


Переславль-Залесский 2003 г.

^ СПИСОК ИСПОЛНИТЕЛЕЙ
Абрамов Сергей Михайлович, д.ф.-м.н., директор исследовательского центра
мультипроцессорных систем (ИЦМС) ИПС РАН

Московский Александр Александрович, к.х.н., ведущий инженер-программист ИЦМС ИПС РАН

Роганов Владимир Александрович, ведущий инженер-программист ИЦМС ИПС РАН

Чудинов Александр Михайлович, инженер-программист ИЦМС ИПС РАН

Коряка Филипп Анатольевич инженер-программист ИЦМС ИПС РАН

Есин Григорий Игоревич инженер-программист ИЦМС ИПС РАН


Ландина Мария Юрьевна инженер-программист ГНУ РосНИИ РП»


Егоркин Владимир Андреевич инженер-программист ГНУ РосНИИ РП»


Корнев Андрей Андреевич – доцент каф. выч. математики Механико-математического факультета МГУ им М.В. Ломоносова.


Чижонков Евгений Васильевич – профессор каф. выч. математики Механико-математического факультета МГУ им М.В. Ломоносова.


Степанов Евгений Александрович – студент Механико-математического факультета МГУ им М.В. Ломоносова.


Инюхин Александр Валерьевич – инженер-программист ГНУ РосНИИ РП».


Водомеров Александр Николаевич – инженер-программист ГНУ РосНИИ РП».

РЕФЕРАТ

Отчет содержит ___ стр.

^ Объектом исследования являются методы организации распределённых вычислений.

Целью работы является создание макета высокоэффективного средства разработки GRID-приложений на основе системы автоматического динамического распараллеливания для гетерогенных вычислительных сред, включающего в себя библиотеку обобщённых параллельных алгоритмов

^ Методы исследований включают в себя анализ требований, предъявляемых к системе, последовательная комплексная проработка отдельных аспектов предполагаемой реализации системы и, наконец, программная реализация выработанных на предыдущих этапах алгоритмов.

Аппаратура, на которой ведутся исследования и которую предполагается использовать для обкатки экспериментальной реализации, представляет собой набор разнородного кластерного оборудования, а также отдельных компьютеров, подключенного к различным сегментам сети Интернет, функционирующий под управлением операционной системой Linux.

^ Полученные результаты на данный момент включают в себя:

^ Основные конструктивные, технологические и технико-эксплуатационные характеристики экспериментального комплекса программных средств можно кратко охарактеризовать следующим образом:

^ Рекомендации по внедрению. Разрабатываемый комплекс программных средств может быть рекомендован как инструментальное средство для создания высокопроизводительных масштабируемых распределённых приложений для вычислительных сетей и информационных систем на из основе.

^ Область применения: научные и инженерные расчёты, требующие больших и сверхбольших вычислительных ресурсов, эффективное использование вычислительных ресурсов «недозагруженной» компьютерной техники (учебные классы, офисные машины), сравнительно быстрое создание параллельных версий уже существующих программ на. С или С++.

^ Значимость данной работы. Актуальность данной работы определяется быстрым развитием возможностей для организации распределённых вычислений, в то время как технологии создания параллельных программ для разнородных вычислительных систем находятся в начальной стадии разработки.

^ Разрабатываемые программные средства предполагается развивать в сторону повышения отказоустойчивости, совершенствования алгоритмов планирования, использующих информацию о полосах пропускания, развития средств описания вычислительной сложности и объема возвращаемой информации для Т-функций, развития нетрадиционных «недетерминированных» механизмов отказоустойчивости. Перспек­тивным также представляется возможная организация одноранговых вычислительных сетей на основе существующих наработок по Т- GRID.

^ Экономический эффект от внедрения разрабатываемых программных средств может быть достигнут за счет сокращения расходов на закупку новой вычислительной техники, создание и внедрение высокопроизводительных прикладных программ.

СОДЕРЖАНИЕ
Введение 7

Организация межпроцессорных обменов 8

1.Техническое решение на кластерном уровне 8

1.1.Общая память 8

1.2.Сборщик мусора и последовательный номер. 9

1.3.Возможное расширение адресного пространства суперпамяти для поддержки вычислительных сетей 10

2.Поддержка различных программно-аппаратных платформ. 11

2.1.Работа OpenTS в гетерогенной среде 11

3.Поддержка отказоустойчивости 14

3.1.Предыстория: возможности DMPI до начала работ 14

3.2.Существующие возможности обеспечения отказоустойчивости 15

3.3.Двухпроцессная схема вызова функций MPI 16

3.4.Реализация вызовов MPI через дополнительный процесс 16

3.5.Реализация асинхронных вызовов MPI (MPI_Isend). 18

3.6.Организация общей памяти 18

3.7.Тестирование отказоустойчивости 18

4.Исследования по механизмам быстрого кэширующего захвата ресурсов 20

5.Исследования по оптимизации временных характеристик системы поддержки многопоточных вычислений, включая эффективное использование SMP конфигураций 20

6.Исследования по эффективным алгоритмам системы планирования 20

6.1.Автоупорядочение по тяжести гранул (по глубине вложенности функций) 20

6.2.Спекулятивное распределение свободных ресурсов (кооперативный макропланировщик) 22

7.Система тестов на работоспособность и производительность 23

8.Экспериментальный испытательный стенд для распределённых приложений 24

9.Возможное практическое использование результатов 25

10.Публикации 25

11.Приложения 25

^ ПРИЛОЖЕНИЕ 1 26

1.HTTP-агент 41

1.1.Описание. 41

1.2.Получение CGI-скрипта 41

1.3.Настройка HTTP-сервера. 41

1.4.Использование. 42

1.5.Возможные проблемы и способ их решения 44

2.Конфигурационный файл для метакластера 45

1.Настройки системы мониторинга FLAME для использования альтернативных вариантов интерфейса для сбора информации 57

1.1.Задачи 58

1.2.Программа загрузки узлов кластера 58

1.3.Пример результата работы программы node_info. 59

1.4.Программа node_list. 59

1.5.Исходный текст программы node_list. 59

1.6.Пример результата работы программы node_list. 60

1.7.Установка и проверка работы на тестовом кластере 60

1.8.Настройка LDAP сервера 60

1.9.Настройка динамической базы данных DDB-LDAP 60

1.10.Настройка пакета NET-SNMP 60

1.11.Файл конфигурации кластера для динамической базы данных: Часть файла skif-panther.xml 61

1.12.Файл настройки SNMP: /etc/snmp/snmpd.conf 63

1.13.Файл обработки запросов SNMP:Часть файла /etc/snmp/get2 63

1.Пакет для мета-вычислений MetaMPICH/PACX 65

1.1.Общая информация о пакете 65

1.2.Инсталляция пакета 73

1.3.Изменения, внесенные в исходные тексты пакета PACX-MPI 75

1.4.Компиляция MPI-приложений с PACX 76

1.5.Запуск MPI-приложений, скомпилированных с PACX-MPI 76

1.6.Обеспечение информационной безопасности 77

1.7.Переменные окружения, используемые PACX-MPI 78

2.Схема использования PACX в составе испытательного стенда T-GRID 78

2.1.Сопряжение с MPI 78

2.2.Сопряжение с T-системой 79

Введение. Программа и параллельный алгоритм 81

Особенности функционального подхода к распараллеливанию 82

Знакомство с Т-системой: примеры программ 83

Числа Фибоначчи 83

Краткая характеристика языка Т++ 84

Возможность последовательного исполнения программ на языке Т++ 85

Рекурсивный обход дерева 86

Разработка программ на языке T++ 87

Особенности организации параллельных вычислений при помощи Т-системы 88

Программное обеспечение Т-системы и дополнительные возможности 88

Компилятор языка Т++ 89

Архитектура ядра Т-системы 89

Сервисные возможности Т-системы 91

Вместо заключения 92

Ссылки и библиография 93

Рабочие ресурсы разработчиков OpenTS: 93

http://t-system2.polnet.botik.ru 93



Введение

С возникновением концепции «вычислительных сетей» (computation grids) как средства организации высокопроизводительных вычислений, системы автоматического динамического распараллеливания приобретают новое значение.

В случае «традиционных» средств параллельных вычислений, таких как SMP или MPP, все процессоры обладают одинаковыми характеристиками, их время предполагается целиком, посвященным одной задаче, отказ одного вычислителя с высокой вероятностью означает отказ системы целиком. При разработке параллельных программ для таких систем чаще всего используются MPI или аналогичны средства. Программисты стараются разделить задачу на приблизительно равные части и минимизировать межпроцессорные обмены.

«Вычислительные сети» обладают новыми особенностями, которые дополнительно осложняют и без того достаточно сложный процесс разработки параллельных программ.

Как показывают эксперименты с построением метакластеров в сети Интернет [1], «вычислительные сети» обладают весьма ненадёжными элементами. В ходе расчёта [1], который продолжался несколько суток, количество процессоров в системе постоянно менялось.

Производительность компьютеров или кластеров, объединённых в вычислительную сеть, может существенно разниться, а загрузка более приоритетными задачами изменятся с течением времени.

Пропускная способность каналов Интернет постоянно меняется в зависимости от времени суток и многих случайных факторов.

Очевидно, что в первую очередь системы динамического распараллеливания вычислений способны обеспечить программистов удобными средствами создания приложений для вычислительных сетей. Аналогично другим системам [2], использующим функциональный подход для распараллеливания программ, Т-система позволяет отделить собственно алгоритм вычислений от алгоритма планирования и управления ресурсами.


^ Организация межпроцессорных обменов

tehnicheskaya-specifikaciya-tovara-tehnicheskie-harakteristiki-parametri-i-opisanie-obrazci-markirovka-i-plombirovanie-trebovaniya-k-upakovke-tare-stranica-6.html
tehnicheskie-harakteristiki-porshnevih-burovih-nasosov.html
tehnicheskie-resheniya-postroeniya-gorodskoj-operatorskoj-seti-na-baze-tehnologii-optical-ethernet.html
tehnicheskie-sredstva-obrazovaniya-v-detskom-sadu.html
tehnicheskie-sredstva-svetofornogo-regulirovaniya.html
tehnicheskij-menedzhment.html
  • lesson.bystrickaya.ru/proishozhdenie-zhizni-na-zemle.html
  • uchitel.bystrickaya.ru/rasprostranenie-radiovoln.html
  • laboratornaya.bystrickaya.ru/razdel-7-rekomendacii-doklada-regionalnaya-obshestvennaya-organizaciya-soyuz-zhenshini-dona-346410-g-novocherkassk.html
  • holiday.bystrickaya.ru/mezhdunarodnie-pravovie-akti-i-dokumenti-1.html
  • ekzamen.bystrickaya.ru/schastlivij-brak-analiz-i-upravlenie-semejnimi-otnosheniyami-s-pomoshyu-iskusstvennih-nejronnih-setej.html
  • portfolio.bystrickaya.ru/osobennosti-igroteki-metodicheskoe-posobie-dlya-pedagogov-i-roditelej.html
  • turn.bystrickaya.ru/osnovnie-sobitiya-tendencii-analitika.html
  • education.bystrickaya.ru/3obem-disciplini-31obem-disciplini-i-vidi-uchebnoj-raboti-uchebno-metodicheskij-kompleks-po-otechestvennoj-istorii.html
  • pisat.bystrickaya.ru/sto-pudov-337-ot-240212-g-2012-chernogolovka.html
  • write.bystrickaya.ru/g-kiev-ul-ya-ivashkevicha-5-of-216-stranica-17.html
  • shpargalka.bystrickaya.ru/uchebno-metodicheskij-kompleks-po-discipline-tehnologiya-i-avtomatizaciya-proektnih-rabot-dlya-studentov-5-kursa-specialnostej-270204-stroitelstvo-zheleznih-dorog-put-i-putevoe-hozyajstvo-zhd-stranica-7.html
  • turn.bystrickaya.ru/polozhenie-o-rajonnom-voenno-istoricheskom-konkurse-gordost-otechestva-posvyashennom-200-letiyu-otechestvennoj-vojni-1812-goda.html
  • learn.bystrickaya.ru/glava-12-ad-liber-primus.html
  • upbringing.bystrickaya.ru/lekciya-na-temu-mestnaya-anesteziya.html
  • uchit.bystrickaya.ru/t-v-karmaeva-formi-uchastiya-molodezhi-v-lokalnih-obshestvenno-politicheskih-processah-v-germanii.html
  • reading.bystrickaya.ru/metodicheskie-rekomendacii-po-organizacii-samostoyatelnoj-raboti-studentov-zaochnogo-otdeleniya-stranica-18.html
  • education.bystrickaya.ru/10122009-g-s-2-tema-stroitelstvo-stroitelen-kontrol.html
  • write.bystrickaya.ru/filosofiya-i-mirovozzrenie-lichnosti.html
  • reading.bystrickaya.ru/kustovskij-snhmelnickij-nacionalnij-universitet-provodimoj-v-ramkah-programmi-tempus-iv-vitebsk-6-8-oktyabrya.html
  • books.bystrickaya.ru/engine-operation-uchebno-metodicheskoe-posobie-dlya-studentov-1-2-kursa-zaochnogo-obucheniya-visshih-uchebnih-zavedenij.html
  • desk.bystrickaya.ru/pervaya-oshibochnie-dejstviya-1916-1915.html
  • thesis.bystrickaya.ru/prilozhenie-3-metodicheskie-materiali-dlya-samostoyatelnoj-raboti-studentov-anketa.html
  • klass.bystrickaya.ru/9-kusandra-obespokoen-kir-bulichev.html
  • kolledzh.bystrickaya.ru/7-struktura-i-soderzhanie-praktiki-osnovnaya-obrazovatelnaya-programma-visshego-professionalnogo-obrazovaniya-050100.html
  • knigi.bystrickaya.ru/s-v-koval-organizaciya-deyatelnosti-advokaturi.html
  • znanie.bystrickaya.ru/akkreditacionnie-obrazovatelnie-programmi-moudod-dhsh-im-vaptashtinskogo-mo-gorod-krasnodar.html
  • zanyatie.bystrickaya.ru/mirovoj-rinok-zolota.html
  • tasks.bystrickaya.ru/1-kombinatorika-binom-nyutona-pole-kompleksnih-chisel.html
  • gramota.bystrickaya.ru/york-times-v-ego-knige-net-vodi-no-eyu-upivaeshsya.html
  • uchit.bystrickaya.ru/srochnie-trudovie-dogovori.html
  • obrazovanie.bystrickaya.ru/posobie-dlya-vospitatelya-detskogo-sada-moskva-prosveshenie-1978-stranica-9.html
  • prepodavatel.bystrickaya.ru/strukturnij-funkcionalizm-chast-3.html
  • urok.bystrickaya.ru/predlozheniya-po-razrabotke-modeli-kompetencij-bakalavriata-po-napravleniyu-upravlenie-personalom-na-osnove-monitoringa-predpochtenij-rabotodatelej.html
  • otsenki.bystrickaya.ru/referat-rabota-sostoit-iz-43s-33-istochnikov-literaturi.html
  • textbook.bystrickaya.ru/gosudarstva-i-prava.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.