論文の概要: Employing Artificial Intelligence to Steer Exascale Workflows with Colmena

• arxiv url: http://arxiv.org/abs/2408.14434v1
• Date: Mon, 26 Aug 2024 17:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 13:12:07.841626
• Title: Employing Artificial Intelligence to Steer Exascale Workflows with Colmena
• Title（参考訳）: Colmenaによるエクササイズワークフローのステアリングに人工知能を活用する
• Authors: Logan Ward, J. Gregory Pauloski, Valerie Hayot-Sasson, Yadu Babuji, Alexander Brace, Ryan Chard, Kyle Chard, Rajeev Thakur, Ian Foster,
• Abstract要約: Colmenaは、アプリケーションがどのようにイベントに反応するかを一連の協調エージェントとして定義することを可能にする。 エクサスケールシステムにアプリケーションをデプロイしている間に克服した課題と、AIによって強化された科学について説明する。 私たちのビジョンは、Colmenaが科学コンピューティングの多くの領域でAIを活用する創造的なソリューションを刺激することです。
• 参考スコア（独自算出の注目度）: 37.42013214123005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computational workflows are a common class of application on supercomputers, yet the loosely coupled and heterogeneous nature of workflows often fails to take full advantage of their capabilities. We created Colmena to leverage the massive parallelism of a supercomputer by using Artificial Intelligence (AI) to learn from and adapt a workflow as it executes. Colmena allows scientists to define how their application should respond to events (e.g., task completion) as a series of cooperative agents. In this paper, we describe the design of Colmena, the challenges we overcame while deploying applications on exascale systems, and the science workflows we have enhanced through interweaving AI. The scaling challenges we discuss include developing steering strategies that maximize node utilization, introducing data fabrics that reduce communication overhead of data-intensive tasks, and implementing workflow tasks that cache costly operations between invocations. These innovations coupled with a variety of application patterns accessible through our agent-based steering model have enabled science advances in chemistry, biophysics, and materials science using different types of AI. Our vision is that Colmena will spur creative solutions that harness AI across many domains of scientific computing.
• Abstract（参考訳）: 計算ワークフローはスーパーコンピュータ上の一般的なアプリケーションクラスであるが、疎結合で異質なワークフローの性質は、しばしばそれらの能力を最大限に活用できない。 我々は、人工知能(AI)を用いて、スーパーコンピュータの巨大な並列性を活用してワークフローを学習し、実行時に適応するためにColmenaを開発した。 Colmenaは、アプリケーションがどのようにイベント(例えばタスク完了)に応答すべきかを、一連の協調エージェントとして定義することを可能にする。 本稿では、Colmenaの設計、エクサスケールシステムにアプリケーションをデプロイする際の課題、AIを織り込んだ科学ワークフローについて述べる。 議論するスケーリングの課題には、ノード利用を最大化するステアリング戦略の開発、データ集約タスクの通信オーバーヘッドを低減するデータファブリックの導入、呼び出し間のコストの高い操作をキャッシュするワークフロータスクの実装などがあります。 これらのイノベーションとエージェントベースのステアリングモデルを通じてアクセス可能なさまざまなアプリケーションパターンが組み合わさって、さまざまなタイプのAIを用いた化学、生物物理学、材料科学の科学的進歩を可能にした。 私たちのビジョンは、Colmenaが科学コンピューティングの多くの領域でAIを活用する創造的なソリューションを刺激することです。

関連論文リスト

• Collaborative AI in Sentiment Analysis: System Architecture, Data Prediction and Deployment Strategies [3.3374611485861116]
  大規模言語モデル(LLM)に基づく人工知能技術は、特に感情分析においてゲームチェンジャーとなっている。 しかし、複雑なマルチモーダルデータを処理するための多様なAIモデルの統合と、それに伴う機能抽出の高コストは、大きな課題を呈している。 本研究では,様々なAIシステムにまたがるタスクを効率的に分散・解決するための協調型AIフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-17T06:14:34Z)
• GenAgent: Build Collaborative AI Systems with Automated Workflow Generation -- Case Studies on ComfyUI [64.57616646552869]
  本稿では、モデル、データソース、パイプラインを統合し、複雑で多様なタスクを解決するためにパフォーマンスを向上させるために使用される協調AIシステムについて検討する。 我々は、LLMベースのフレームワークであるGenAgentを紹介した。 その結果、GenAgentは実行レベルおよびタスクレベルの評価においてベースラインアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-02T17:44:10Z)
• AUTONODE: A Neuro-Graphic Self-Learnable Engine for Cognitive GUI Automation [0.0]
  オンラインニューログラフィック操作と深部探索によるユーザインタフェースの自律的変換 我々のエンジンはエージェントが複雑に理解し実装し、非並列な効率で動的Web環境に適応することを可能にする。 AUTONODEの汎用性と有効性は一連の実験を通じて実証され、様々なWebベースのタスクを管理する能力を強調している。
  論文  参考訳（メタデータ） (2024-03-15T10:27:17Z)
• An Interactive Agent Foundation Model [49.77861810045509]
  本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。 トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。 私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
  論文  参考訳（メタデータ） (2024-02-08T18:58:02Z)
• Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
  人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である 本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
  論文  参考訳（メタデータ） (2023-12-22T17:57:57Z)
• AI-coupled HPC Workflows [1.5469452301122175]
  従来のHPCにAI/MLモデルを導入することは、非常に正確なモデリングを可能にしてきた。 AI/MLモデルをHPC計算に統合するさまざまなモードにより、さまざまなタイプのAI結合型HPCが生成される。
  論文  参考訳（メタデータ） (2022-08-24T19:16:43Z)
• COCOI: Contact-aware Online Context Inference for Generalizable Non-planar Pushing [87.7257446869134]
  一般的なコンタクトリッチな操作問題は、ロボット工学における長年の課題である。 深層強化学習は、ロボット操作タスクの解決に大きな可能性を示している。 動的プロパティのコンテキスト埋め込みをオンラインにエンコードする深層RL法であるCOCOIを提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:20:21Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。