論文の概要: Towards Resource-Efficient Compound AI Systems

• arxiv url: http://arxiv.org/abs/2501.16634v3
• Date: Mon, 17 Mar 2025 20:14:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:11:43.843914
• Title: Towards Resource-Efficient Compound AI Systems
• Title（参考訳）: 資源効率の良い複合AIシステムを目指して
• Authors: Gohar Irfan Chaudhry, Esha Choukse, Íñigo Goiri, Rodrigo Fonseca, Adam Belay, Ricardo Bianchini,
• Abstract要約: 複合AIシステムは、モデル、レトリバー、外部ツールなどの複数の相互作用コンポーネントを統合する。 現在の実装は、アプリケーションロジックと実行の詳細の密結合によって、非効率なリソース利用に悩まされています。 本稿では、動的スケジューリングとリソース認識意思決定のための宣言型ワークフロープログラミングモデルと適応型ランタイムシステムを提案する。
• 参考スコア（独自算出の注目度）: 4.709762596591902
• License:
• Abstract: Compound AI Systems, integrating multiple interacting components like models, retrievers, and external tools, have emerged as essential for addressing complex AI tasks. However, current implementations suffer from inefficient resource utilization due to tight coupling between application logic and execution details, a disconnect between orchestration and resource management layers, and the perceived exclusiveness between efficiency and quality. We propose a vision for resource-efficient Compound AI Systems through a declarative workflow programming model and an adaptive runtime system for dynamic scheduling and resource-aware decision-making. Decoupling application logic from low-level details exposes levers for the runtime to flexibly configure the execution environment and resources, without compromising on quality. Enabling collaboration between the workflow orchestration and cluster manager enables higher efficiency through better scheduling and resource management. We are building a prototype system, called Murakkab, to realize this vision. Our preliminary evaluation demonstrates speedups up to $\sim 3.4\times$ in workflow completion times while delivering $\sim 4.5\times$ higher energy efficiency, showing promise in optimizing resources and advancing AI system design.
• Abstract（参考訳）: モデルやレトリバー、外部ツールといった複数のインタラクションコンポーネントを統合する複合AIシステムは、複雑なAIタスクに対処するために欠かせないものとなっている。 しかしながら、現在の実装では、アプリケーションロジックと実行の詳細の密結合、オーケストレーションとリソース管理レイヤの切り離し、効率と品質の排他性が認識されているため、非効率なリソース利用に悩まされています。 本稿では、宣言型ワークフロープログラミングモデルと動的スケジューリングとリソース認識決定のための適応型ランタイムシステムを用いて、資源効率の高い複合AIシステムのビジョンを提案する。 低レベルの詳細からアプリケーションロジックを分離することは、実行環境とリソースを柔軟に構成するランタイムのレバーを、品質を損なうことなく公開します。 ワークフローオーケストレーションとクラスタマネージャのコラボレーションは、スケジューリングとリソース管理の改善を通じて、より高い効率を実現する。 私たちはこのビジョンを実現するために、Murakkabと呼ばれるプロトタイプシステムを構築しています。 予備評価では、ワークフロー完了時に最大$\sim 3.4\times$を、高エネルギー効率で$\sim 4.5\times$を、リソースの最適化とAIシステム設計の進歩を約束することを示す。

関連論文リスト

• DNN-Powered MLOps Pipeline Optimization for Large Language Models: A Framework for Automated Deployment and Resource Management [0.0]
  本研究では、Deep Neural Networks(DNN)を活用してMLOpsパイプラインをLarge Language Models(LLM)に最適化する新しいフレームワークを提案する。 当社のアプローチでは,最適なパフォーマンスとコスト効率を維持しつつ,デプロイメント決定やリソース割り当て,パイプライン最適化を自動化するインテリジェントシステムを導入しています。
  論文  参考訳（メタデータ） (2025-01-14T14:15:32Z)
• Dynamic Scheduling Strategies for Resource Optimization in Computing Environments [0.29008108937701327]
  本稿では,資源利用,負荷分散,タスク完了効率といった重要な性能指標のバランスをとることを目的とした,多目的最適化に基づくコンテナスケジューリング手法を提案する。 実験の結果, 従来の静的ルールアルゴリズムや効率アルゴリズムと比較して, 資源利用, 負荷分散, バーストタスク完了において, 最適化されたスケジューリング方式が有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-12-23T05:43:17Z)
• Cluster-Based Multi-Agent Task Scheduling for Space-Air-Ground Integrated Networks [60.085771314013044]
  低高度経済は、コミュニケーションやセンシングなどの分野で発展する大きな可能性を秘めている。 本稿では,SAGINにおけるマルチUAV協調タスクスケジューリング問題に対処するため,クラスタリングに基づく多エージェントDeep Deterministic Policy Gradient (CMADDPG)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-14T06:17:33Z)
• Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments [8.315191578007857]
  そこで本研究では,Q-ラーニングに基づく新しいコンピュータシステムの性能最適化と適応型ワークロード管理スケジューリングアルゴリズムを提案する。 対照的に、強化学習アルゴリズムであるQラーニングは、システムの状態変化から継続的に学習し、動的スケジューリングとリソース最適化を可能にする。 この研究は、将来の大規模システムにおけるAI駆動適応スケジューリングの統合の基礎を提供し、システムのパフォーマンスを高め、運用コストを削減し、持続可能なエネルギー消費をサポートするスケーラブルでインテリジェントなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-08T05:58:09Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Efficient Orchestrated AI Workflows Execution on Scale-out Spatial Architecture [17.516934379812994]
  さまざまなタスクをロジック駆動型決定と統合し、動的で洗練されたAIを提供する。 我々は,オーケストレーションされた空間グラフを用いて,オーケストレーションされたAIの本質的なデュアルダイナミクスを効果的に表現できることを見出した。 我々の評価は、オーケストレーションAIの動的な要求に対処する上で、従来のアーキテクチャよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-21T14:09:31Z)
• Joint User Association, Interference Cancellation and Power Control for Multi-IRS Assisted UAV Communications [80.35959154762381]
  インテリジェント反射面(IRS)支援無人航空機(UAV)通信は、地上基地局の負荷を低コストで軽減することが期待されている。 既存の研究は主に、複数のIRSではなく単一のIRSの配置とリソース割り当てに焦点を当てている。 我々は,共同IRSユーザアソシエーションのための新しい最適化アルゴリズム,UAVの軌道最適化,逐次干渉キャンセル(SIC)復号命令スケジューリング,電力割り当てを提案する。
  論文  参考訳（メタデータ） (2023-12-08T01:57:10Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi-Agent Reinforcement Learning for Long-Term Network Resource Allocation through Auction: a V2X Application [7.326507804995567]
  我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。 我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。 本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T10:29:06Z)
• Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
  Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。 MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。 本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T07:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。