Virtual Product Development (VPD) — это организация процесса разработки, доводки, подготовки производства и поддержки эксплуатации нового изделия, в основу которой положено широкое использование компьютерных технологий, базирующихся на точном инженерном анализе и виртуальном моделировании. Результатом полномасштабного внедрения VPD-технологий является резкое сокращение материальных затрат и времени на создание нового изделия, повышение его функциональных характеристик, достижение заданных экономических показателей производства и, как следствие, обеспечение конкурентоспособности предприятия-изготовителя.

Корпорация MSC.Software (США), уже многие десятилетия работающая в области создания компьютерных технологий инженерного анализа, сформировала широкий спектр интегрированных VPD-систем. Стремясь создать условия, при которых комплексное внедрение VPD-технологий было бы доступно предприятиям самого разного масштаба, MSC предложила революционную систему лицензирования своих программных продуктов — MSC.MasterKey. Использование этой системы открывает доступ к современным компьютерным технологиям инженерного анализа предприятиям с ограниченным бюджетом, а предприятиям-гигантам позволяет экономить огромные средства при оснащении своих инженерных центров.

Суть новой системы лицензирования заключается в том, что в рамках любого MSC VPD-контракта поставляется и может быть установлен на компьютерах пользователя весь MSC VPD-комплекс, состоящий из более чем ста интегрированных систем высокого уровня. Каждая система комплекса требует для запуска определенного числа жетонов (Token). MSC.MasterKey отслеживает лишь, чтобы на текущий момент цена работающих систем (в жетонах) не превышала общего числа жетонов, предусмотренных контрактом. Жетоны, занятые той или иной системой, при завершении работы этой системы немедленно освобождаются и могут использоваться для запуска других систем. Одновременно может работать любое сочетание MSC VPD-систем, реализующих текущие потребности предприятия и различных его отделов. При этом не существует никаких прямых ограничений ни на число рабочих мест, ни на их распределение по отделам и реальным компьютерам.

Таким образом, предлагаемый MSC.Software современный подход к созданию нового изделия базируется на двух «китах»: VPD-технологии и системе лицензирования MasterKey. Но это еще не всё. Есть и третий «кит», без которого всё остальное не имело бы смысла, — аппаратная часть в виде современных вычислительных систем.

Усложнение постановки задачи, использование более адекватных (чаще всего нелинейных) моделей поведения материалов, стремление учесть все факторы, определяющие функциональность изделия, переход к комплексному моделированию, которое предполагает расчет не детали и даже не узла, а изделия в целом, — всё это предъявляет исключительно высокие требования к вычислительным ресурсам, недоступные на уровне отдельного компьютера или рабочей станции. Даже если стандартная вычислительная машина и сможет, поднатужившись, выполнить подготовленное задание, критичным фактором может стать время. Вычислительный процесс растянется столь надолго, что в рамках цикла проектирования и изготовления изделия виртуальное моделирование станет бессмысленным…

Что такое кластер

Кластеры компьютеров строятся и используются уже более десяти лет. Один из первых архитекторов кластерной технологии Дж. Пфистер (G. Pfister) определил кластер как «параллельную или распределенную систему, состоящую из набора взаимосвязанных компьютеров и используемую как один унифицированный вычислительный ресурс».

Итак, кластер — это совокупность серверов, накопителей и рабочих станций, которые:

• действуют как одна система;
• представляются пользователям как одна система;
• управляются как одна система.

Объединенные вычислительные ресурсы используются так, что возможности системы в целом превышают суммарные возможности входящих в нее частей. Налицо синергетический эффект. Последнее обстоятельство и является самым привлекательным в применении кластера как системы для решения больших задач инженерного анализа.

SMP- и DMP-параллелизация

На сегодня существует два варианта распараллеливания вычислительного процесса, используемые раздельно или совместно. Один из них — Shared Memory Parallel (SMP, распараллеливание решения задачи в режиме общего доступа к памяти) — позволяет рационально использовать несколько процессоров на одной машине. Второй — Distributed Memory Parallel (DMP, распараллеливание решения задачи в режиме разделенного доступа к памяти) — предполагает возможность запуска сложных задач на кластерных системах.

Чтобы распараллеливание было эффективным, необходимо не только наличие аппаратной поддержки, но и соответствующая адаптация программного обеспечения, которая реализуется с помощью специализированных модулей. Что касается систем MSC.Software, то для многих из них (MSC.Marc, MSC.Nastran, MSC.Dytran и др.) распараллеливание вычислительного процесса реализовано весьма эффективно, причем для разных операционных систем.

В оценке эффективности функции распараллеливания вычислений были объединены усилия трех сторон:

• поставщиков программного обеспечения — специалистов корпорации MSC.Software из московского представительства MSC;
• разработчиков кластерных систем. Здесь договоренность была достигнута со специалистами крупнейшей отечественной компании Kraftway, первой в России освоившей технологию сборки кластеров. По своим характеристикам кластеры этой компании являются сейчас лучшими в стране;
• пользователей программного обеспечения MSC, решающих сложные задачи, которые требуют повышенных вычислительных ресурсов. Участвовать в эксперименте любезно согласились сотрудники бюро САПР отдела прочностного анализа Коломенского завода.

После получения временной лицензии (компания MSC предоставила такую лицензию бесплатно) специалистами Kraftway и MSC.Software были выполнены установка программного обеспечения и настройка кластера. Тестирование проводилось с использованием аппаратного комплекса, состоящего из четырех серверов Kraftway G-Scale I и межузловой магистрали Infiniband, как на задачах из реальной практики Коломенского завода, так и на специально подготовленных для этой цели тестовых задачах MSC.

Прежде всего представим характеристики ПК, используемых на Коломенском заводе, и аппаратного комплекса компании Kraftway. Эта информация собрана в таблицах 1 и 2.

Таблица 1

Таблица 2

Решение тестовых задач с применением MSC.Nastran

На этом этапе оценивалась скорость расчета задач, подготовленных для решателя MSC.Nastran (табл. 3).

Таблица 3

Результаты тестирования представлены на рис. 1−3.

Рис. 1. Результаты тестирования производительности кластера. Решение задачи линейной статики (коленчатый вал)

Рис. 2. Результаты тестирования эффективности кластера. Решение задачи на собственные значения (коленчатый вал)

Как показывают примеры, приведенные на рис. 1 и 2, эффективность использования кластера зависит от размерности решаемой задачи и вида проводимого анализа.

Рис. 3. Оценка производительности кластера при решении задачи линейной статики (колесный центр тепловоза 2ТЭ70, входной файл предоставлен отделом прочностного анализа Коломенского завода)

Переход от 32-разрядной технологии (Windows XP на отдельном ПК) к 64-разрядной (Linux64 на кластере Kraftway) позволил более чем вдвое увеличить скорость расчета для данной конечно-элементной модели и указанных выше параметров конфигурации аппаратного обеспечения (рис. 3). Применение кластера сократило время решения задачи еще приблизительно на 40%.

Таким образом, благодаря самым современным алгоритмам распараллеливания, MSC.Nastran обеспечивает инженера возможностью решать задачи достаточно большой размерности с использованием кластерных технологий. При этом эффективность использования кластера зависит от размерности и типа решаемой задачи. Чем выше размерность задачи, тем выше получаемый эффект.

Решение тестовых задач с применением MSC.Marc

Второй этап исследований состоял в тестировании возможностей DMP- и SMP-параллелизации на кластере компании Kraftway для решателя MSC.Marc (табл. 4).

Таблица 4

Рис. 4. Оценка производительности кластера при решении контактной задачи (входной файл предоставлен отделом прочностного анализа Коломенского завода)

Время решения контактной задачи на ПК в расчетном отделе Коломенского завода и на одноузловом кластере фирмы Kraftway (рис. 4) оказалось примерно одинаковым. Когда количество узлов было увеличено до двух, производительность расчетной системы возросла примерно в три раза. Такое сверхускорение объясняется тем, что в процессе решения задачи суммарный размер оперативной памяти на двух расчетных узлах оказался достаточным для размещения всех вычисляемых данных. Дальнейшее увеличение количества узлов в составе кластера (с двух до четырех) обеспечивает рост производительности еще приблизительно на 30%, а при использовании двух процессоров на каждом расчетном узле эффективность по сравнению с конфигурацией 2у*1п увеличивается примерно вдвое. Несмотря на небольшой размер конечно-элементной модели, этот пример демонстрирует общий характер зависимости производительности от количества расчетных узлов в кластере: чем больше расчетных узлов, тем быстрее можно решить задачу — при этом возрастает и ее максимально возможный размер.

Рис. 5. Результаты тестирования эффективности кластера. Задача линейной статики (балка). Для моделей с 1500 тыс. и 3000 тыс. степеней свободы получить решение на кластерах с одним и двумя узлами не удалось, но распараллеливание вычислений на четырех узлах в составе кластера было успешным. Решение задачи размерностью 3000 тыс. степеней свободы на четырехузловом кластере с использованием двух процессоров на каждом узле не проводилось

Специалистами МSC были подготовлены специальные тестовые задачи большой размерности. Длина консольно закрепленной балки варьировалась и, таким образом, достигалось изменение размерности задачи.

Рис. 6. Результаты тестирования эффективности кластера. Задача нелинейной статики (балка). Отсутствие результатов расчета для кластера из одного и двух расчетных узлов означает невозможность решения данной задачи с помощью таких конфигураций

Анализируя приведенные данные, можно сделать следующие выводы:

• Для решения конечно-элементных задач большой размерности порядка 1  000  000 узлов (3  000  000 степеней свободы) и более требуется самое современное высокопроизводительное программное обеспечение, каким является MSC.Marc. Программный комплекс MSC.Marc оснащен эффективными алгоритмами распараллеливания. Вторым необходимым компонентом успешного решения таких задач является высокопроизводительное аппаратное обеспечение, располагающее достаточными ресурсами. Результаты эксперимента показали, что для решения задачи размерностью порядка 3  000  000 степеней свободы и более рекомендуется кластер из четырех рабочих станций (в качестве рекомендуемой комплектации можно рассматривать приведенную в табл. 2). При этом оценочное время, необходимое для решения линейной задачи, измеряется часами (рис. 5), а время, требуемое для решения нелинейной задачи, может составлять порядка суток и более (рис. 6) в зависимости от степени нелинейности.
• Результаты тестирования различных конфигураций аппаратных средств показали, что при решении линейных задач размерностью от 500 тыс. до 1 млн. степеней свободы использование четырехузлового кластера обеспечивает ускорение до 10 раз по сравнению с производительностью одной рабочей станции. Если же решается задача с числом степеней свободы от 1000 тысяч до 2000 тысяч, возможно добиться ускорения приблизительно в 2−3 раза. При этом рекомендуется использовать как минимум двухузловой кластер. Решая задачу размерностью в 3000 тыс. степеней свободы и более предпочтение следует отдать кластеру, состоящему из четырех и более расчетных узлов.
• MSC.Marc — эффективный инструмент инженерного анализа, позволяющий использовать в составе кластера до нескольких сотен вычислительных узлов и почти пропорционально уменьшающий время (а время в современном мире — это деньги). При этом многие задачи большой размерности (порядка 3  000  000 степеней свободы и более) и с высокой степенью нелинейности без применения современных методов распараллеливания решить крайне затруднительно, а порой и невозможно.
• Аппаратные комплексы компании Kraftway полностью удовлетворяют всем требованиям программного обеспечения компании MSC и могут быть рекомендованы заказчику в качестве готового решения.
• Использование для подобных задач серверов Kraftway G-Scale на базе процессоров Itanium 2 позволяет на порядок снизить затраты на аппаратную часть по сравнению с другими производителями серверов подобного уровня. Неоспоримыми преимуществами программно-аппаратных решений Kraftway являются их относительно быстрое развертывание и превосходная масштабируемость.

Учитывая, что использование возможностей параллелизации требует соответствующего лицензирования, преимущества системы лицензирования MasterKey по сравнению со стандартной проявляются и в этом случае.

Работая в рамках системы лицензирования MSC.MasterKey, можно при необходимости использовать все жетоны, которыми располагает предприятие, для повышения эффективности решения особо насущной задачи, требующей, например, распараллеливания вычислений.

Таким образом, разработанные компанией MSC.Software передовые технологии виртуальной разработки изделия (VPD) обеспечивают пользователей высокоэффективными инструментами инженерного анализа. В сочетании с системой лицензирования MSC.MasterKey и современными вычислительными комплексами компании Kraftway пользователи систем MSC при минимальных затратах (в первую очередь финансовых) получают возможность быстрее вывести на рынок новое изделие с более высокими показателями качества и, как следствие, получить преимущества в условиях жесткой конкурентной борьбы за покупателя.