論文の概要: Rethinking the Evaluation of Efficiency Methods for Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2609.05933v1
- Date: Sat, 05 Sep 2026 06:47:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.170074
- Title: Rethinking the Evaluation of Efficiency Methods for Multi-Agent Systems
- Title（参考訳）: マルチエージェントシステムの効率性評価の再考
- Abstract要約: 近年,大規模言語モデル (LLM) ベースのマルチエージェントシステムは,エージェントの刈り取りや通信エッジの除去,コンパクトな構造探索などにより安価に構築されている。
既存の評価は、MAS効率を向上する真の能力を過大評価する可能性があると論じる。
本分析は,MAS効率の堅牢な改善ではなく,構造的崩壊,機能不全,あるいはランダムプルーニングがすでに精度を保っている開始システムから発生する,多くの報告されたゲインがセットアップに依存していることを示している。
- 参考スコア（独自算出の注目度）: 22.50944765658515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficiency is increasingly important for Large Language Model (LLM)-based multi-agent systems (MAS), as larger models and more agents introduce substantial execution costs. Recent methods aim to make MAS cheaper by pruning agents, removing communication edges, or searching for compact structures. However, we argue that existing evaluations may overestimate their true ability to improve MAS efficiency. Reported gains are often measured under method-specific prompts and starting topologies, making them difficult to attribute to the proposed structural changes. Moreover, many reported successes appear in non-MAS-demanding settings, where a single agent or a randomly pruned system can already preserve strong performance. To study these issues, we introduce a controlled and MAS-demanding diagnostic benchmark for representative MAS efficiency methods. We evaluate methods under a shared backbone model, agent registry, and runtime, across controlled variations in topology, scale, depth, and tool use. Our analysis shows that many reported gains are setup-dependent and may arise from structural collapse, disabled tool pathways, or starting systems where random pruning already preserves accuracy, rather than robust improvements in MAS efficiency.
- Abstract（参考訳）: 大規模言語モデル(LLM)ベースのマルチエージェントシステム(MAS)では、より大きなモデルやエージェントがかなりの実行コストをもたらすため、効率性がますます重要である。
近年の手法は, エージェントの刈り取り, 通信エッジの除去, 小型構造物の探索などによりMASを安価にすることを目的としている。
しかし,既存の評価はMAS効率を向上する真の能力を過大評価する可能性がある。
報告された利得は、しばしばメソッド固有のプロンプトと開始トポロジーに基づいて測定される。
さらに、MASを要求しない環境では、単一のエージェントやランダムに切断されたシステムがパフォーマンスを維持できる、と報告されている多くの成功が報告されている。
これらの問題を調査するために,代表的MAS効率評価のための制御およびMAS要求診断ベンチマークを導入する。
共有バックボーンモデル、エージェントレジストリ、ランタイムの下で、トポロジ、スケール、深さ、ツール使用の制御されたバリエーションでメソッドを評価する。
本分析は,MAS効率の堅牢な改善ではなく,構造的崩壊やツールパスの無効化,あるいはランダムプルーニングがすでに精度を保っている開始システムから発生する可能性が示唆された。
関連論文リスト
- Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution [47.70578021328887]
大規模言語モデル(LLM)ベースのマルチエージェントシステムは、しばしば複雑な障害モードを示す。
AFANetは、ステップレベルの意味信号とエージェントレベルの関係を通して相互作用軌跡をモデル化する軽量なグラフベースのフレームワークである。
以上の結果から, エージェント障害の効果的な帰属は大きな推論を必要とせず, 軽量で構造化されたアプローチで高い性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2026-08-19T06:16:09Z) - The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
推論駆動最適化のための統合フレームワークであるReASearchを提案する。
共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。
我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
論文 参考訳（メタデータ） (2026-08-07T02:15:39Z) - TAPO: Tool-Aware Policy Optimization via Credit Transfer for Multimodal Search Agents [54.08846865906602]
ツール強化マルチモーダルサーチエージェントにおいて,クレジットミス割り当てをGRPOの系統的障害モードとして特徴付ける。
本稿では,情報取得ツールのパラメータ決定性を利用したツール・アウェア・ポリシー・オプティマイズ(TAPO)を提案する。
論文 参考訳（メタデータ） (2026-06-04T07:15:43Z) - Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets [14.028807574426748]
データ処理の不等式に基づく情報理論の議論を示す。
トークンを一定に保った場合,SASはマルチホップ推論タスクにおいてMASと一貫して一致し,より優れることがわかった。
以上の結果から,マルチホップ推論タスクにおいて,マルチエージェントシステムのアドバンテージを未計算の計算や文脈効果によってよりよく説明できることが示唆された。
論文 参考訳（メタデータ） (2026-04-02T18:47:48Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - A Systematic Study of LLM-Based Architectures for Automated Patching [7.9821766277253845]
本研究では,4つの大規模言語モデル (LLM) に基づくパッチ処理パラダイムの制御評価を行う。
実際の脆弱性タスクにおけるパッチの正確性、障害モード、トークン使用量、実行時間を分析します。
固定は効率的だが脆く、単一エージェントシステムは柔軟性とコストのバランスを保ち、マルチエージェント設計はオーバーヘッドを大幅に上回るコストを犠牲にして改善される。
論文 参考訳（メタデータ） (2026-03-01T20:26:22Z) - AgentArk: Distilling Multi-Agent Intelligence into a Single LLM Agent [57.10083973844841]
AgentArkは、マルチエージェントダイナミクスを単一のモデルの重みに蒸留する新しいフレームワークである。
各種モデル,タスク,スケーリング,シナリオの3つの階層的蒸留戦略について検討する。
シミュレーションからトレーニングへ計算の負担をシフトさせることで、蒸留されたモデルは、複数のエージェントの強い推論と自己補正性能を示しながら、一つのエージェントの効率を保ちます。
論文 参考訳（メタデータ） (2026-02-03T19:18:28Z) - MAS-ProVe: Understanding the Process Verification of Multi-Agent Systems [59.20800753428596]
マルチエージェントシステム(MAS)におけるプロセス検証の系統的研究であるMAS-ProVeを提案する。
本研究は3つの検証パラダイム(LLM-as-a-Judge、報酬モデル、プロセス報酬モデル)にまたがる。
プロセスレベルの検証は、常に性能を改善しておらず、しばしば高いばらつきを示す。
論文 参考訳（メタデータ） (2026-02-03T03:30:36Z) - Prompt Optimization via Retrieved Reasoning Assets and Multi-Agent Analysis [5.935239028627343]
スコア・アウェア・プロンプト最適化のためのマルチエージェントフレームワークであるMA-SAPOを紹介する。
従来の手法と比較して、MA-SAPOは、体系的な編集を導く構造的推論と評価結果を明示的に結合する。
評価信号を解釈可能な推論連鎖に変換することで、MA-SAPOはより透明で、監査可能で、制御可能な、迅速な改善を生成する。
論文 参考訳（メタデータ） (2025-10-18T20:21:09Z) - Automatic Differentiation of Agent-Based Models [3.0989255691168487]
エージェントベースモデル(ABM)は、個々のエージェントのボトムアップ相互作用をキャプチャすることで複雑なシステムをシミュレートする。
疫病や金融市場のような複雑なシステムの多くは、数千から数百万のエージェントを巻き込んでいる。
自動微分(AD)技術は,これらの計算負担を効果的に軽減できることを示す。
論文 参考訳（メタデータ） (2025-09-03T13:28:33Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。