論文の概要: Towards Resource-Efficient Compound AI Systems

• arxiv url: http://arxiv.org/abs/2501.16634v1
• Date: Tue, 28 Jan 2025 02:15:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:40:46.964679
• Title: Towards Resource-Efficient Compound AI Systems
• Title（参考訳）: 資源効率の良い複合AIシステムを目指して
• Authors: Gohar Irfan Chaudhry, Esha Choukse, Íñigo Goiri, Rodrigo Fonseca, Adam Belay, Ricardo Bianchini,
• Abstract要約: 複合AIシステムは、モデルやレトリバー、外部ツールといったインタラクションコンポーネントを統合する。 現在の実装は、アプリケーションロジックと実行の詳細の密結合によって、非効率なリソース利用に悩まされています。 本稿では,エフェデクラティブなワークフロープログラミングモデルを用いて,資源効率の高い複合AIシステムのビジョンを提案する。
• 参考スコア（独自算出の注目度）: 4.709762596591902
• License:
• Abstract: Compound AI Systems, integrating multiple interacting components like models, retrievers, and external tools, have emerged as essential for addressing complex AI tasks. However, current implementations suffer from inefficient resource utilization due to tight coupling between application logic and execution details, a disconnect between orchestration and resource management layers, and the perceived exclusiveness between efficiency and quality. We propose a vision for resource-efficient Compound AI Systems through a \emph{declarative workflow programming model} and an \emph{adaptive runtime system} for dynamic scheduling and resource-aware decision-making. Decoupling application logic from low-level details exposes levers for the runtime to flexibly configure the execution environment and resources, without compromising on quality. Enabling collaboration between the workflow orchestration and cluster manager enables higher efficiency through better scheduling and resource management. We are building a prototype system, called \textbf{\textit{Murakkab}}, to realize this vision. Our preliminary evaluation demonstrates speedups up to $\sim 3.4\times$ in workflow completion times while delivering $\sim 4.5\times$ higher energy efficiency, showing promise in optimizing resources and advancing AI system design.
• Abstract（参考訳）: モデルやレトリバー、外部ツールといった複数のインタラクションコンポーネントを統合する複合AIシステムは、複雑なAIタスクに対処するために欠かせないものとなっている。 しかしながら、現在の実装では、アプリケーションロジックと実行の詳細の密結合、オーケストレーションとリソース管理レイヤの切り離し、効率と品質の排他性が認識されているため、非効率なリソース利用に悩まされています。 本稿では,動的スケジューリングとリソース認識決定のための,リソース効率の高い複合AIシステムのビジョンを,‘emph{declarative workflow programming model’と‘emph{adaptive runtime system’を通じて提案する。 低レベルの詳細からアプリケーションロジックを分離することは、実行環境とリソースを柔軟に構成するランタイムのレバーを、品質を損なうことなく公開します。 ワークフローオーケストレーションとクラスタマネージャのコラボレーションは、スケジューリングとリソース管理の改善を通じて、より高い効率を実現する。 我々は,このビジョンを実現するために,‘textbf{\textit{Murakkab}}’と呼ばれるプロトタイプシステムを構築している。 予備評価では、ワークフロー完了時に最大$\sim 3.4\times$を、高エネルギー効率で$\sim 4.5\times$を、リソースの最適化とAIシステム設計の進歩を約束することを示す。

関連論文リスト

• Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments [8.315191578007857]
  そこで本研究では,Q-ラーニングに基づく新しいコンピュータシステムの性能最適化と適応型ワークロード管理スケジューリングアルゴリズムを提案する。 対照的に、強化学習アルゴリズムであるQラーニングは、システムの状態変化から継続的に学習し、動的スケジューリングとリソース最適化を可能にする。 この研究は、将来の大規模システムにおけるAI駆動適応スケジューリングの統合の基礎を提供し、システムのパフォーマンスを高め、運用コストを削減し、持続可能なエネルギー消費をサポートするスケーラブルでインテリジェントなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-08T05:58:09Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Efficient Orchestrated AI Workflows Execution on Scale-out Spatial Architecture [17.516934379812994]
  さまざまなタスクをロジック駆動型決定と統合し、動的で洗練されたAIを提供する。 我々は,オーケストレーションされた空間グラフを用いて,オーケストレーションされたAIの本質的なデュアルダイナミクスを効果的に表現できることを見出した。 我々の評価は、オーケストレーションAIの動的な要求に対処する上で、従来のアーキテクチャよりも大幅に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-21T14:09:31Z)
• Joint User Association, Interference Cancellation and Power Control for Multi-IRS Assisted UAV Communications [80.35959154762381]
  インテリジェント反射面(IRS)支援無人航空機(UAV)通信は、地上基地局の負荷を低コストで軽減することが期待されている。 既存の研究は主に、複数のIRSではなく単一のIRSの配置とリソース割り当てに焦点を当てている。 我々は,共同IRSユーザアソシエーションのための新しい最適化アルゴリズム,UAVの軌道最適化,逐次干渉キャンセル(SIC)復号命令スケジューリング,電力割り当てを提案する。
  論文  参考訳（メタデータ） (2023-12-08T01:57:10Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi-Resource Allocation for On-Device Distributed Federated Learning Systems [79.02994855744848]
  本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。 システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
  論文  参考訳（メタデータ） (2022-11-01T14:16:05Z)
• Multi-Agent Reinforcement Learning for Long-Term Network Resource Allocation through Auction: a V2X Application [7.326507804995567]
  我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。 我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。 本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T10:29:06Z)
• Deep Reinforcement Model Selection for Communications Resource Allocation in On-Site Medical Care [8.564319625930892]
  本稿では、スケジューラが接続されたユーザ間で混合性能指標のバランスをとる必要があるリソース割り当てシナリオについて検討する。 本稿では,異なるモデルベーススケジューリングアルゴリズムを適応的に切り替えるスケジューラを提案する。 結果として得られるアンサンブルスケジューラは、その構成アルゴリズムを組み合わせて、総コスト関数を最大化することができる。
  論文  参考訳（メタデータ） (2021-11-12T12:04:53Z)
• Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
  Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。 MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。 本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T07:37:10Z)
• Resource allocation in dynamic multiagent systems [0.0]
  MG-RAOアルゴリズムは,マルチエージェントシステムにおける資源配分問題を解決するために開発された。 シミュレーション環境における固定リソース割り当てに対する23～28%の改善を示す。 また、揮発性システムでは、mg-raoアルゴリズムを用いて、子エージェントがすべてのエージェントのリソース割り当てをモデル化するように構成されているため、複数のエージェント群をモデル化するときのパフォーマンスは46.5%である。
  論文  参考訳（メタデータ） (2021-02-16T17:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。