論文の概要: Hybrid Workflow Composition for Extreme-Scale Data Processing: A Case Study on the HL-LHC (Extended Version)
- arxiv url: http://arxiv.org/abs/2607.26877v1
- Date: Wed, 29 Jul 2026 13:07:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.684749
- Title: Hybrid Workflow Composition for Extreme-Scale Data Processing: A Case Study on the HL-LHC (Extended Version)
- Title（参考訳）: 極大規模データ処理のためのハイブリッドワークフロー構成:HL-LHCのケーススタディ(拡張版)
- Abstract要約: 本稿では,タスクセットの粒度とシステムレベルの制約の相互作用を特徴付けるための新しいシミュレーションフレームワークを提案する。
その結果、ハイブリッド合成戦略はスループットを最大3.8倍に向上し、ネットワークオーバーヘッドを14.9倍削減できることがわかった。
- 参考スコア（独自算出の注目度）: 0.5156484100374059
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-Throughput Computing (HTC) environments tailored for high-concurrency resource efficiency require sophisticated orchestration to manage petabyte-scale data across heterogeneous resources. A critical but often overlooked challenge is workflow composition: the strategic grouping of tasksets within a Directed Acyclic Graph (DAG) to mitigate execution overhead while maximizing resource utilization. This paper presents a novel simulation framework for characterizing the interplay between taskset granularity and system-level constraints (e.g., job latency, failure rate, throughput, and I/O bandwidth). By exploring a high-dimensional parameter space, we quantify the performance sensitivity of diverse workflow topologies. Our results demonstrate that hybrid composition strategies, which dynamically balance taskset independence with execution grouping, can yield up to 3.8x throughput increase and a 14.9x reduction in network overhead. We further propose a multi-metric objective function that enables policy-driven optimization, allowing system architects to navigate the Pareto frontier between throughput, I/O cost, and CPU efficiency. These findings provide a rigorous foundation for automated workflow synthesis in distributed systems, offering a scalable model for next-generation scientific pipelines. All artifacts are publicly available.
- Abstract（参考訳）: 高スループットコンピューティング(HTC)環境は、異種資源をまたいだペタバイト規模のデータを管理するための高度なオーケストレーションを必要とする。
リソース利用を最大化しながら実行オーバーヘッドを軽減するために、DAG(Directed Acyclic Graph)内のタスクセットを戦略的にグループ化する。
本稿では,タスクセットの粒度とシステムレベルの制約(ジョブレイテンシ,障害率,スループット,I/O帯域幅など)の相互作用を特徴付ける新しいシミュレーションフレームワークを提案する。
高次元パラメータ空間を探索することにより、多様なワークフロートポロジの性能感度を定量化する。
その結果,タスクセット独立と実行グループ化を動的にバランスさせるハイブリッドコンポジション戦略は,スループットを最大3.8倍に向上し,ネットワークオーバーヘッドを14.9倍削減できることを示した。
さらに,システムアーキテクトがスループット,I/Oコスト,CPU効率の間にあるParetoフロンティアをナビゲートし,ポリシ駆動の最適化を可能にする多目的関数を提案する。
これらの発見は分散システムにおけるワークフローの自動合成のための厳格な基盤を提供し、次世代の科学パイプラインのためのスケーラブルなモデルを提供する。
すべてのアーティファクトが公開されています。
関連論文リスト
- Coupled Hierarchical Search over Topology and Execution for Agentic Workflow Synthesis [64.2820121997882]
エージェントワークフロー設計を自動化する,トレーニング不要でテスト時の階層型検索アーキテクチャであるHierFlowを紹介した。
HierFlowはインテリジェントなゲーティングモジュールを通じて効率を最大化し、コンテキスト要求に基づいて実行レベル検索を選択的にトリガーする。
質問応答、数学的推論、コード生成ベンチマークにわたる包括的なテストは、HierFlowが一貫して強力なベースラインを上回っていることを確認する。
論文 参考訳（メタデータ） (2026-05-20T01:56:11Z) - Why Search When You Can Transfer? Amortized Agentic Workflow Design from Structural Priors [51.95306551061392]
エージェントワークフローの自動設計は、現在、タスクごとの反復検索に依存している。
本稿では,ワークフロー設計を再利用可能な構造的先入観に補正するフレームワークであるSWIFTを提案する。
SWIFTは5つのベンチマークで最先端の検索手法より優れている。
論文 参考訳（メタデータ） (2026-04-27T21:25:00Z) - Multi-Agent Orchestration for High-Throughput Materials Screening on a Leadership-Class System [1.4669344809969722]
大規模言語モデル(LLM)は、自律的な意思決定において重要な役割を果たす。
我々は,高スループットスクリーニングキャンペーンを編成するスケーラブルで階層的なマルチエージェントフレームワークを提案する。
提案するエージェントフレームワークは,Auroraスーパーコンピュータ上での効率的かつスケーラブルな実行を可能にする。
論文 参考訳（メタデータ） (2026-04-09T01:01:11Z) - Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。
Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
論文 参考訳（メタデータ） (2026-03-23T17:01:42Z) - Dynamic Generation of Multi-LLM Agents Communication Topologies with Graph Diffusion Models [99.85131798240808]
我々はtextitGuided Topology Diffusion (GTD) と呼ばれる新しい生成フレームワークを導入する。
条件付き離散グラフ拡散モデルにインスパイアされたGTD式は、反復的な構成過程としてトポロジー合成を行う。
各ステップで生成は、多目的報酬を予測する軽量プロキシモデルによって制御される。
実験により、GTDは高いタスク適応性、スパース、効率的な通信トポロジを生成できることが示されている。
論文 参考訳（メタデータ） (2025-10-09T05:28:28Z) - HedraRAG: Coordinating LLM Generation and Database Retrieval in Heterogeneous RAG Serving [10.130938079844121]
HedraRAGはグラフベースの抽象化に基づいて構築されたランタイムシステムで、ステージレベルの並列性、要求内類似性、要求間歪性といった最適化の機会を公開する。
結果として発生する実行計画は、リソース使用率を改善し、レイテンシを低減するために、ハイブリッドCPU-GPUパイプラインにマップされる。
論文 参考訳（メタデータ） (2025-07-12T04:42:43Z) - HAWK: A Hierarchical Workflow Framework for Multi-Agent Collaboration [3.2588674134593942]
マルチエージェントシステムは、クロスプラットフォームの相互運用性、動的タスクスケジューリング、効率的なリソース共有において永続的な課題に直面している。
階層型エージェント (Hawk) は, ユーザ, オペレータ, エージェント, リソースの5つのレイヤから構成され, 16の標準化インターフェースでサポートされているモジュール型フレームワークである。
Hawkはタスク解析、ワークフローオーケストレーション、インテリジェントスケジューリング、リソース呼び出し、データ同期をカバーしたエンドツーエンドパイプラインを提供する。
論文 参考訳（メタデータ） (2025-07-05T15:03:53Z) - Towards Resource-Efficient Compound AI Systems [4.709762596591902]
複合AIシステムは、モデル、レトリバー、外部ツールなどの複数の相互作用コンポーネントを統合する。
現在の実装は、アプリケーションロジックと実行の詳細の密結合によって、非効率なリソース利用に悩まされています。
本稿では、動的スケジューリングとリソース認識意思決定のための宣言型ワークフロープログラミングモデルと適応型ランタイムシステムを提案する。
論文 参考訳（メタデータ） (2025-01-28T02:15:34Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z) - Efficient Orchestrated AI Workflows Execution on Scale-out Spatial Architecture [17.516934379812994]
さまざまなタスクをロジック駆動型決定と統合し、動的で洗練されたAIを提供する。
我々は,オーケストレーションされた空間グラフを用いて,オーケストレーションされたAIの本質的なデュアルダイナミクスを効果的に表現できることを見出した。
我々の評価は、オーケストレーションAIの動的な要求に対処する上で、従来のアーキテクチャよりも大幅に優れていることを示している。
論文 参考訳（メタデータ） (2024-05-21T14:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。