Отчет ИВМ СО РАН за 2013 год

Программа IV.38.2. Новые подходы к созданию распределенных геоинформационных систем и инфраструктуры пространственных данных на основе «облачных» технологий и сервисно-ориентированной архитектуры и их приложений

Координаторы программы: академик РАН Ю. И. Шокин, член-корреспондент РАН И. В. Бычков

Научный руководитель проекта: д.ф.-м.н., профессор Н. Я. Шапарев

Блок 1. Проектирование и разработка модульной архитектуры программного обеспечения для геоинформационных веб-систем, оптимизация ранее созданного ПО геопортала, расширение его функциональных возможностей, прикладных и служебных веб-сервисов.

Два основных направления работ здесь — это, во-первых, поддержка и развитие ранее созданных программных средств, и, во-вторых, разработка новых модулей и функциональных подсистем.

По первому направлению за отчетный период времени в той или иной степени были модернизированы ранее разработанные подсистемы геопортала — подсистемы картографической веб-визуализации, редактора карт ГеоЭкспресс, пользовательского интерфейса каталога метаданных и проч.

По второму направлению выполнялись работы по созданию нового функционала для геопортала и прикладных систем на его основе — ведется тестирование новых программных средств для представления в геоинформационной веб-системе динамических данных, средств обработки (процессинга) данных, поддержки протоколов для работы с GRID-слоями и сервисами для работы с датчиками систем мониторинга (Sensor Observation Service). Публичный доступ к этим новым программным средствам предполагается на следующих отчетных этапах.

В частности, было создано программно-технологическое обеспечение для интеграции компонентов геопорталов — библиотека интеграции веб-приложений, которая обеспечивает средства сквозной аутентификации и авторизации пользователей, связанные с ними компоненты пользовательского интерфейса, а также набор программных интерфейсов для доступа к каталогу ресурсов из клиентского веб-приложения. Логическая структура библиотеки представляет собой совокупность следующих функциональных блоков.

Наличие общих настроек, которые используются во всех подключаемых к системе веб-приложениях, исключает дублирование одинакового типа и облегчает смену параметров, а также перенос и развёртывание всего программного комплекса на другом сервере.

Библиотеки клиентского API каталога ресурсов.

Хранение актуальной версии клиентской библиотеки доступа к каталогу ресурсов посредством SOAP для веб-приложений в одном месте также позволяет осуществлять своевременные обновления функционала и облегчает перенос и развёртывание системы на другом веб-сервере.

Средства аутентификации и авторизации пользователей.

Реализация сквозной аутентификации и авторизации во всех компонентах системы являлась одним из основных требований при разработке библиотеки, поскольку отсутствие подобного функционала затрудняет работу пользователей, вынуждая их вводить учётные данные при переходе от одного веб-приложения к другому. Созданные средства на данный момент позволяют осуществлять аутентификацию и авторизацию пользователей на основе пользовательских сессий PHP и на основе Cookie-файлов. При выборе методики разработчики должны опираться на архитектуру размещения веб-приложений, входящих в состав системы. Если все веб-приложения располагаются на одном веб-сервере, то использование Cookie-файлов является не обязательным. При расположении на разных веб-серверах применение Cookie является необходимостью.

Общие компоненты пользовательского интерфейса.

Поддержка визуальной целостности пользовательских интерфейсов веб-приложений, интегрируемых в систему, и обеспечение пользователей средствами навигации по компонентам системы также являлись важными задачами при разработке библиотеки. Для этой цели был создан класс GPTemplate, содержащий основные функции и методы формирования общих компонентов пользовательского интерфейса, а также их интеграции в веб-приложение.

Основными бизнес-процессами, которые автоматизирует библиотека интеграции веб-приложений, являются процессы сквозной аутентификации пользователей. Существует два типа подобных процессов: при первоначальном входе пользователя в систему и после первоначального входа (Рис. III.27).

Рис. III.27. Логика работы библиотеки интеграции веб-приложений при первоначальной аутентификации (слева) и после нее (справа)

Разработанное программно-технологическое обеспечение для интеграции веб-приложений в геопортал системы управления пространственными данными стало одним из системообразующих компонентов для ряда разработанных и внедренных прикладных систем (О. Э. Якубайлик, А. А. Кадочников, А. В. Токарев).

Блок 2. Формирование инфраструктуры вычислений для обработки пространственных данных.

Работы связаны с поиском эффективных решений для операций с большими массивами пространственных данных. Были проанализированы основные проблемы эксплуатации ранее созданного ПО, обозначены возможные направления его развития. Решались также решались задачи, связанные с эксплуатацией оборудования, совершенствования аппаратного обеспечения.

Постановка и решение задач оптимизации распределенной обработки геопространственных данных привела к пониманию необходимости значительной реорганизации структуры используемого аппаратного и системного программного обеспечения. В результате за отчетный период времени был осуществлен перенос существующих разработок на серверную платформу виртуализации VMware ESXi 5.1. Реализация выполнена на основе сервера HP ProLiant DL160 с выделенной системой хранения данных, подключенной по протоколу iSCSI по каналу 2 Гбит. На базе гипервизора VMWare ESXi 5.1 создано несколько виртуальных серверов. На виртуальных серверах установлены операционные системы FreeBSD 9.1 и OpenSUSE 12 (x86_64) с графической средой Gnome для тестирования LDAP.

Разработанное в предыдущие годы программное обеспечение геопортала ИВМ СО РАН разделено на три виртуальных логических сервера. Созданы также отдельные тестовые виртуальные сервера для разработчиков ПО геопортала и его сервисов. Развернутая система виртуализации предоставляет разработчикам новые возможности по тестированию различных конфигураций оборудования и программного обеспечения, их тонкой настройке. Результатом указанной модернизации должно стать значительное повышение эффективности работы и использования разработанных средств и сервисов.

Использование новой логической структуры компонентов геопортала позволило существенно повысить эффективность использования его ресурсов в сторонних интерфейсах. Для решения указанных задач интеграции был разработан механизм встраивания интерактивных интерфейсов (мини-карт) геопортала в системы управления веб-контентом (CMS). По желанию пользователя из этого интерфейса мини-карты может быть осуществлен переход на соответствующую страницу каталога ресурсов геопортала (Рис. III.28).

Рис. III.28. Сервисы интеграции веб-контента геопортала ИВМ СО РАН

Также выделен, настроен и запущен в эксплуатацию дополнительный физический сервер для создания карт на основе растровых фрагментов («тайловых подложек»). На этот сервер перемещены основные «тайловые карты» Красноярского края и в ближайшее время на этом сервере будут динамически создаваться «тайловые карты» для разных карт геопортала ИВМ СО РАН. Такой подход позволит ускорить процесс загрузки карт на стороне клиента. Такие подложки будут создаваться оператором геопортала.

Для непрерывной и стабильной работы сформированы и запущены в эксплуатацию средства мониторинга работы серверных систем, включающий анализ нагрузки на процессор, оперативную память, жесткие диски, сетевую нагрузку, а также количество работающих и ожидающих процессов, подключенных пользователей и т.п. Данная система мониторинга позволяет рационально распределить ресурсы существующего технического обеспечения. Настроено корректное отключение серверного оборудования в зависимости от сигналов источников бесперебойного питания с целью оградить серверное оборудование от сбоев питания и неблагоприятных условий окружающей среды благодаря поддержанию постоянных климатических условий внутри серверного помещения (О. Э. Якубайлик, А. А. Кадочников, А. В. Токарев).

За отчетный период рассматривался ряд проблем — от динамики развития енисейского бентоса в нижнем бьефе Красноярской ГЭС до анализа критериев оценки антропогенных воздействий на водные объекты Красноярского края с привлечением подходов, методов и показателей теории устойчивого развития. Рассматривались также методы построения тематических наборов геопространственных данных по материалам многолетних исследований различных биологических характеристик водоемов Красноярского края на основе технологий геопортала.

В настоящее время разработана комплексная система показателей устойчивого природопользования, с помощью которой представляется возможным определить степень устойчивости водного объекта. Однако данная система обладает существенным недостатком, поскольку не учитывает биологические показатели воды, т.е. «отклик» гидробионтов на те, или иные антропогенные воздействия. В ходе работой над проектом была сформирована система критериев для наблюдения и контроля за состоянием водной среды с использованием не только классических инструментальных (физико-химических) методов, но и биологических, учитывающих ответную реакцию биоты на изменение качества среды обитания. В качестве модельной экосистемы рассматривали р. Енисей. Сформированная система включает 4 показателя: (гидрографический, гидробиологический, социально-экономический, состояние сточных и качество поверхностных вод).

Выявлено, что входное антропогенное воздействие в бассейне реки является незначительным (забор свежей воды — 1.3 %, доля распаханности территории бассейна — 1.16 %), однако недостаточно контролируется в связи с низкой плотностью гидрологических сетей.

Отмечена низкая эффективность водопользования, обусловленная изношенностью технических систем, малой долей повторно-последовательного и оборотного использования воды, большими затратами воды на единицу валового внутреннего продукта и высоким бытовым потреблением воды на душу населения.

В связи с падением уровня производства забор свежей воды и соответственно сброс сточных вод в последние годы значительно уменьшился (табл. III.3), однако это не привело к улучшению качества поверхностных вод в бассейне Енисея. Наблюдается повсеместное загрязнение реки тяжелыми металлами и нефтепродуктами. Сброс сточных вод обусловлен жилищно-коммунальным хозяйством (69.8 %) и промышленностью (29.5 %). Химические и биологические методы оценки качества воды в Енисее в основе своей показали сходные результаты, соответствующие градациям «загрязненная» и «грязная».

Показатели	1993	1995	1997	1999	2001	2003	2005	2007	2009	2011
Забрано свежей воды	3992	2898	2974	3027	2554	2704	2731	2908	2722	2385
Использовано свежей воды	3219	2713	2715	2696	2323	2518	2508	2630	2455	2218
Сброшено сточных вод в поверхностные воды	2806	2332	2353	2540	2211	2430	2424	2531	2355	1997

Таблица III.3. Динамика основных показателей водопользования, млн. м³

Показано, что русловое зарегулирование Енисея привело к изменению термического режима реки, и как следствие — к нарушению устойчивости экосистемы. Произошла структурная перестройка биологических сообществ, резко сократилась численность многих ценных видов рыб.

Были продолжены исследования влияния зарегулирования на биологические сообщества р. Енисей. На всем протяжении Енисея главенствующее положение в пищевой цепи занимает зообентос, поскольку развитие планктона ограничивается значительной скоростью течения и сопутствующей ей большой мутностью воды. В настоящей работе отражены основные результаты исследований сообществ зообентоса реки Енисей на участке от плотины Красноярской ГЭС до устья р. Подкаменной Тунгуски.

Для Верхнего Енисея наиболее типичен литореофильный биоценоз с преобладанием хирономид, олигохет и амфипод. Средняя численность донной фауны на участке от плотины Красноярской ГЭС до устья р. Ангары составила 3.5 тыс. экз./м², биомасса — 10.8 г/м². После слияния с Ангарой главенствующее положение в зообентосе по-прежнему занимают хирономиды, а доля амфипод и олигохет существенно снизилась. Им на смену приходят двустворчатые моллюски, поденки и ручейники. Средняя продуктивность грунтов на участке ниже устья р. Ангара составила 1.2 тыс. экз./м² и 2.8 г/м².

Интегральная оценка качества воды методом биоиндикации по нескольким показателям зообентоса характеризует Верхний Енисей как «Загрязненный» IV класса; Средний Енисей — «Умеренно загрязненный» III класса.

Количественные характеристики зообентоса после зарегулирования Енисея существенно выросли, особенно на участке от плотины до устья Ангары: численность — более чем в 2 раза, биомасса — в 5 раз. Доля амфипод в биомассе зообентоса увеличилась в 10 раз, хирономид — в 9 раз, олигохет — в 40 раз. В то же время, из донной фауны практически исчезли веснянки и мошки, значительно уменьшилось число видов и количество ручейников и поденок. Анализ временной динамики указывает на продолжающееся увеличение биомассы зообентоса Енисея, особенно на участке от плотины Красноярской ГЭС до устья р. Ангары (рис. III.29).

Рис. III.29. Средние значения численности и биомассы зообентоса Енисея до и после зарегулирования

Отчет ИВМ СО РАН за 2013 год

Программы фундаментальных исследований сибирского отделения РАН

IV.38. Проблемы создания глобальных и интегрированных информационно-телекоммуникационных систем и сетей. Развитие технологий и стандартов GRID