論文の概要: HERA: Hybrid Edge-cloud Resource Allocation for Cost-Efficient AI Agents

• arxiv url: http://arxiv.org/abs/2504.00434v1
• Date: Tue, 01 Apr 2025 05:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:27.591069
• Title: HERA: Hybrid Edge-cloud Resource Allocation for Cost-Efficient AI Agents
• Title（参考訳）: HERA: コスト効率の良いAIエージェントのためのハイブリッドエッジクラウドリソース割り当て
• Authors: Shiyi Liu, Haiying Shen, Shuai Che, Mahdi Ghandi, Mingqin Li,
• Abstract要約: AIの領域では、GPT-4のような大規模言語モデル(LLM)がAIエージェントの運用の中心であり、主にクラウドで運用されている。 ローカルベースの小型言語モデル(SLM)がより正確になるにつれて、クラウド排他的処理の必要性が再検討されている。 本稿では,AIエージェントのサブタスクを局所的なSLMとクラウドベースのLLMに自動的に分割する適応反復レベルモデルセレクタ(AIMS)を提案する。
• 参考スコア（独自算出の注目度）: 9.064429605488026
• License:
• Abstract: In the realm of AI, large language models (LLMs) like GPT-4, central to the operation of AI agents, predominantly operate in the cloud, incurring high operational costs. With local-based small language models (SLMs) becoming more accurate, the necessity of cloud-exclusive processing is being reconsidered. An AI agent's response to a user's request comprises a series of subtasks or iterations. Existing approaches only allocate a single request between SLM and LLM to ensure their outputs are similar, but adopting this approach in the AI agent scenario for assigning each subtask is not effective since SLM will output a different subsequent subtask, which affects the accuracy of the final output. In this paper, we first conduct experimental analysis to understand the features of AI agent operations. Leveraging our findings, we propose the Adaptive Iteration-level Model Selector (AIMS), a lightweight scheduler to automatically partition AI agent's subtasks between local-based SLM and cloud-based LLM. AIMS considers the varying subtask features and strategically decides the location for each subtask in order to use SLM as much as possible while attaining the accuracy level. Our experimental results demonstrate that AIMS increases accuracy by up to 9.1% and SLM usage by up to 10.8% compared to HybridLLM. It offloads 45.67% of subtasks to a local SLM while attaining similar accuracy on average compared with the cloud-only LLM approach.
• Abstract（参考訳）: AIの領域では、AIエージェントの運用の中心となるGPT-4のような大規模言語モデル(LLM)が、主にクラウドで運用され、高い運用コストが発生する。 ローカルベースの小型言語モデル(SLM)がより正確になるにつれて、クラウド排他的処理の必要性が再検討されている。 ユーザの要求に対するAIエージェントの応答は、一連のサブタスクまたはイテレーションで構成される。 既存のアプローチでは、SLMとLSMの間の単一要求のみを割り当てて出力が同じであることを保証するが、SLMが次のサブタスクを出力するため、各サブタスクを割り当てるAIエージェントシナリオでのこのアプローチの採用は、最終的な出力の正確性に影響を与えるため、効果的ではない。 本稿では,AIエージェント操作の特徴を理解するために,まず実験分析を行う。 本稿では,AIエージェントのサブタスクを自動的にローカルベースSLMとクラウドベースLLMに分割する軽量スケジューラであるAdaptive Iteration-level Model Selector (AIMS)を提案する。 AIMSは様々なサブタスクの特徴を考慮し、精度レベルを確保しながら可能な限りSLMを使用するために各サブタスクの位置を戦略的に決定する。 実験の結果,AIMSはHybridLLMと比較して精度を最大9.1%向上し,SLM使用率は最大10.8%向上した。 サブタスクの45.67%をローカルのSLMにオフロードし、クラウドのみのLCMアプローチと比較して平均的に同様の精度を達成している。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• AgentOccam: A Simple Yet Strong Baseline for LLM-Based Web Agents [52.13695464678006]
  本研究は, 観察空間と行動空間を簡略化することで, LLMベースのWebエージェントを強化する。 AgentOccam は以前の最先端および同時処理を 9.8 (+29.4%) と 5.9 (+15.8%) で上回っている。
  論文  参考訳（メタデータ） (2024-10-17T17:50:38Z)
• AdaSwitch: Adaptive Switching between Small and Large Agents for Effective Cloud-Local Collaborative Learning [36.37717583840935]
  本研究では,大規模クラウドベースLLMと小規模ローカルデプロイLLMの協調運用を容易にする新しいLCM利用パラダイムを提案する。 本フレームワークは,比較的小型のLLMをインスタンス化したローカルエージェントと,大型のLLMを搭載したクラウドエージェントの2つの主要モジュールから構成される。 この協調処理は、ローカルエージェントがエラーを内観的に識別し、クラウドエージェントから積極的に支援を求める適応機構によって実現される。
  論文  参考訳（メタデータ） (2024-10-17T03:07:37Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning [56.887047551101574]
  大規模言語モデル(LLM)エージェントとケースベース推論(CBR)を利用した新しいフレームワークであるDS-Agentを提案する。 開発段階では、DS-AgentはCBRフレームワークに従い、自動イテレーションパイプラインを構築する。 デプロイメントの段階では、DS-Agentは、シンプルなCBRパラダイムで低リソースのデプロイメントステージを実装し、LCMの基本能力に対する需要を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-27T12:26:07Z)
• Accelerated Cloud for Artificial Intelligence (ACAI) [24.40451195277244]
  我々は、エンドツーエンドのクラウドベースの機械学習プラットフォームであるAccelerated Cloud for AI (ACAI)を提案する。 ACAIは、インデックス付き、ラベル付き、検索可能なデータのクラウドストレージと、自動リソースプロビジョニング、ジョブスケジューリング、実験追跡を可能にする。 自動プロビジョン装置は1.7倍のスピードアップと39%のコスト削減を実現し,典型的なMLのユースケースにおいて,ML科学者の実験時間を20%短縮することを示した。
  論文  参考訳（メタデータ） (2024-01-30T07:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。