論文の概要: AI-coupled HPC Workflows

• arxiv url: http://arxiv.org/abs/2208.11745v1
• Date: Wed, 24 Aug 2022 19:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-26 13:11:13.787926
• Title: AI-coupled HPC Workflows
• Title（参考訳）: AIを結合したHPCワークフロー
• Authors: Shantenu Jha, Vincent R. Pascuzzi, Matteo Turilli
• Abstract要約: 従来のHPCにAI/MLモデルを導入することは、非常に正確なモデリングを可能にしてきた。 AI/MLモデルをHPC計算に統合するさまざまなモードにより、さまざまなタイプのAI結合型HPCが生成される。
• 参考スコア（独自算出の注目度）: 1.5469452301122175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasingly, scientific discovery requires sophisticated and scalable workflows. Workflows have become the ``new applications,'' wherein multi-scale computing campaigns comprise multiple and heterogeneous executable tasks. In particular, the introduction of AI/ML models into the traditional HPC workflows has been an enabler of highly accurate modeling, typically reducing computational needs compared to traditional methods. This chapter discusses various modes of integrating AI/ML models to HPC computations, resulting in diverse types of AI-coupled HPC workflows. The increasing need of coupling AI/ML and HPC across scientific domains is motivated, and then exemplified by a number of production-grade use cases for each mode. We additionally discuss the primary challenges of extreme-scale AI-coupled HPC campaigns -- task heterogeneity, adaptivity, performance -- and several framework and middleware solutions which aim to address them. While both HPC workflow and AI/ML computing paradigms are independently effective, we highlight how their integration, and ultimate convergence, is leading to significant improvements in scientific performance across a range of domains, ultimately resulting in scientific explorations otherwise unattainable.
• Abstract（参考訳）: 科学的発見はますます高度でスケーラブルなワークフローを必要とする。 ワークフローは ``new applications,''' となり、マルチスケールのコンピューティングキャンペーンは複数の実行可能タスクで構成される。 特に、従来のHPCワークフローにAI/MLモデルを導入することは、非常に正確なモデリングの実現要因であり、通常、従来の方法と比較して計算の必要性を減らしている。 この章では、AI/MLモデルをHPC計算に統合するさまざまなモードについて論じる。 科学領域をまたいだAI/MLとHPCの結合の必要性の高まりは動機付けられ、各モードのプロダクショングレードユースケースによって実証される。 さらに、タスクの不均一性、適応性、パフォーマンスといった超大規模なAI結合型HPCキャンペーンの主な課題と、それに対応するためのフレームワークとミドルウェアソリューションについても論じます。 HPCワークフローとAI/MLコンピューティングのパラダイムはどちらも独立して有効であるが、それらの統合と究極の収束が、さまざまな領域にわたる科学的パフォーマンスを大幅に改善し、最終的に科学的な探索が達成不可能になった点を強調している。

関連論文リスト

• GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI [64.57616646552869]
  本稿では、モデル、データソース、パイプラインを統合し、複雑で多様なタスクを解決するためにパフォーマンスを向上させるために使用される協調AIシステムについて検討する。 我々は、LLMベースのフレームワークであるGenAgentを紹介した。 その結果、GenAgentは実行レベルおよびタスクレベルの評価においてベースラインアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• Employing Artificial Intelligence to Steer Exascale Workflows with Colmena [37.42013214123005]
  Colmenaは、アプリケーションがどのようにイベントに反応するかを一連の協調エージェントとして定義することを可能にする。 エクサスケールシステムにアプリケーションをデプロイしている間に克服した課題と、AIによって強化された科学について説明する。 私たちのビジョンは、Colmenaが科学コンピューティングの多くの領域でAIを活用する創造的なソリューションを刺激することです。
  論文  参考訳（メタデータ） (2024-08-26T17:21:19Z)
• Using AI libraries for Incompressible Computational Fluid Dynamics [0.7734726150561089]
  本稿では,AIソフトウェアとハードウェアの両方のパワーを数値モデリングの分野に持ち込む新しい手法を提案する。 提案手法を用いて, 対流拡散方程式, 非線型バーガース方程式, ブラフ体を過ぎる非圧縮性流れを解く。
  論文  参考訳（メタデータ） (2024-02-27T22:00:50Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• HPC-GPT: Integrating Large Language Model for High-Performance Computing [3.8078849170829407]
  HPCドメインに対して生成されたQA(Question-Answer)インスタンスを用いて微調整を行う新しいLLaMAモデルであるHPC-GPTを提案する。 その有効性を評価するために、AIモデルとHPC用データセットの管理とデータ競合検出という2つのHPCタスクに集中する。 LLMとHPC固有のタスク間の性能ギャップを埋めるHPC-GPTの可能性について検討した。
  論文  参考訳（メタデータ） (2023-10-03T01:34:55Z)
• Meta-Learning for Airflow Simulations with Graph Neural Networks [3.52359746858894]
  本稿では,OoD(Out-of-distribution)サンプルにおける学習モデルの性能向上のためのメタラーニング手法を提案する。 具体的には,各気翼上のCFD内の気流シミュレーションをメタラーニング問題として設定し,一つの気翼形状で定義された各例を個別のタスクとして扱う。 学習モデルのOoD一般化性能向上のための提案手法の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2023-06-18T19:25:13Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• DIME: Fine-grained Interpretations of Multimodal Models via Disentangled Local Explanations [119.1953397679783]
  我々は,マルチモーダルモデルの解釈における最先端化に注力する。 提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
  論文  参考訳（メタデータ） (2022-03-03T20:52:47Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Integrating Deep Learning in Domain Sciences at Exascale [2.241545093375334]
  我々は,大規模HPCシステム上でディープラーニングモデルとアプリケーションを効率的に動作させるための既存パッケージの評価を行った。 本稿では,現在の大規模異種システムに対する新しい非同期並列化と最適化手法を提案する。 従来の計算集約型アプリケーションとデータ集約型アプリケーションをAIで拡張するための図表と潜在的なソリューションを提案する。
  論文  参考訳（メタデータ） (2020-11-23T03:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。