論文の概要: Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models

• arxiv url: http://arxiv.org/abs/2607.26922v1
• Date: Wed, 29 Jul 2026 13:53:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.694747
• Title: Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models
• Title（参考訳）: 2つの呼び出しが5つのエージェントに勝る:ローカル言語モデルに対する自己制限に対するマルチエージェントパイプラインの評価
• Abstract要約: Qwen2.5-7B-Instructに配置することで,5つの役割を含む構造化マルチエージェントシステムであるParishadについて検討する。 その結果,コミュニケーションの形式や実装の詳細が,アーキテクチャ上の複雑さ以上の結果を決定することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent LLM pipeline systems break down the task among multiple roles for better reasoning, but are benchmarked mainly with large-scale commercial models. In this study, we investigate Parishad, a structured multi-agent system involving five roles, by deploying it on Qwen2.5-7B-Instruct, a local model, on two datasets: GSM8K (500 questions) and HumanEval (164 questions), compared with prompting directly and two-call self-refinement. The multi-agent system drops GSM8K accuracy from 75.0\% to 45.0\% with JSON data format due to the error accumulation problem. With plaintext format, the accuracy is restored to 82.0\%. A two-call self-refinement strategy (V1) can achieve 86.2\% accuracy on GSM8K, with 7.4$\times$ lower token usage. However, the same V1 implementation on HumanEval---where direct accuracy is already 96.3\%---actively destroys performance (66.5\%). A task-aware gated redesign (V2) applied to HumanEval preserves accuracy at 95.1\%. Our results demonstrate that communication format and implementation details determine outcomes more than architectural complexity, and that simpler approaches match or outperform multi-agent pipelines for local 7B model deployment. All code and data are released.
• Abstract（参考訳）: マルチエージェントLLMパイプラインシステムは、より優れた推論のために複数の役割のタスクを分解するが、主に大規模商用モデルでベンチマークされる。 本研究では,5つの役割を含む構造化マルチエージェントシステムであるParishadについて,GSM8K(500質問)とHumanEval(164質問)の2つのデータセット上にローカルモデルであるQwen2.5-7B-Instructにデプロイすることにより検討した。 マルチエージェントシステムは、エラー蓄積問題により、GSM8Kの精度を75.0\%から45.0\%に下げる。 平文形式では、精度は82.0\%に復元される。 2回のセルフリファインメント戦略(V1)は、GSM8Kで86.2\%の精度を達成でき、7.4$\times$低いトークンを使用することができる。 しかし、HumanEvalと同じV1実装-直接精度96.3\%------はパフォーマンスを積極的に破壊する(66.5\%)。 タスク対応ゲート再設計(V2)がHumanEvalに適用され、95.1\%の精度で保存される。 以上の結果から,通信形式や実装の詳細がアーキテクチャ上の複雑さ以上の結果を決定すること,局所的な7Bモデルデプロイメントにおいて,より単純なアプローチがマルチエージェントパイプラインと一致しているか,あるいは性能的に優れていることを示す。 すべてのコードとデータがリリースされます。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• AgentWeave: Routing Before Reasoning for Efficient Function Calling in Tool-Rich Language Models [0.0]
  我々は,有界モデル可視アクション空間を構成する決定論的事前推論ルーティング層であるAgentWeaveを紹介する。 オールツールの露出とは対照的に、AgentWeaveは70.18%のツールを減らし、61.70%の入力トークンを減らし、平均的なローカルモデルのレイテンシを50.95%低下させる。
  論文  参考訳（メタデータ） (2026-08-24T10:38:08Z)
• Output Format x Model Identity: Interaction Effects in Single-Round Coding Agent Performance [4.342406076796542]
  3つのモデル(DeepSeek V4, Doubao 2.0, Qwen 3.7 Max)で制御実験を行う。 エージェントが過剰なスコープで実行する、フォーマット誤用という、明確な障害メカニズムを特定します。 本稿では, モデル固有の戦略, ツールデザインの原則を提案し, エージェント自身のステップに形式的セマンティクスを制約する。
  論文  参考訳（メタデータ） (2026-07-23T10:18:42Z)
• ClawArena-Team: Benchmarking Subagent Orchestration and Dynamic Workflows in Language-Model Agents [61.184954205350984]
  ClawArena-Teamは、41のマルチターン、マルチモーダル、マルチエージェントシナリオのベンチマークである。 全体的なスコア -- Subagent-Management Score (SMS) -- は、タスクの正しさを最小限のプライマリとモダリティのルーティング因子によって乗算する。
  論文  参考訳（メタデータ） (2026-06-30T06:06:08Z)
• Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
  PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。 次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
  論文  参考訳（メタデータ） (2026-06-29T06:39:03Z)
• When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval [2.8753422388037486]
  Retrieval-augmentedジェネレーションは、大規模なドキュメントコレクションにスケールすると劣化する。 Top-k検索は意味的に似ているが、文脈的に正しくないチャンクを返す。 本稿では,MASDR-RAG(Multi-Agent Scoped Domain Retrieval for RAG)を提案する。
  論文  参考訳（メタデータ） (2026-06-09T18:26:24Z)
• SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
  本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。 各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。 ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
  論文  参考訳（メタデータ） (2026-06-02T02:45:21Z)
• When Correct Isn't Usable: Improving Structured Output Reliability in Small Language Models [2.064923532131528]
  デプロイされた言語モデルは、正しいものとフォーマットに準拠した出力を生成する必要がある。 本稿では,GSM8KとMATHという2つの数学的ベンチマークを用いて,この構造化出力信頼性ギャップについて検討する。 対象モデルへのブラックボックスAPIアクセスのみを必要とする反復的なシステムプロンプトであるAloLabを開発した。
  論文  参考訳（メタデータ） (2026-05-04T09:07:44Z)
• Benchmarking System Dynamics AI Assistants: Cloud Versus Local LLMs on CLD Extraction and Discussion [0.0]
  プロプライエタリなクラウドAPIとローカルにホストされたオープンコンテキストモデルの両方にまたがる、大規模な言語モデルファミリの体系的な評価を行う。 CLD抽出では、クラウドモデルは77～89%のパスレートを達成し、最高のローカルモデルは77%に達する(KimiK2.5GGUFQ3、ゼロショットエンジン中間層クラウド)。 議論では、最良のローカルモデルは50-100%モデル構築ステップを達成する。
  論文  参考訳（メタデータ） (2026-04-20T17:53:29Z)
• RSAgent: Learning to Reason and Act for Text-Guided Segmentation via Multi-Turn Tool Invocations [52.752467948588816]
  エージェント型マルチモーダル大規模言語モデル(MLLM)であるRSAgentを提案する。 RSAgentはセグメンテーション・ツールボックスをクエリし、視覚的フィードバックを観察し、歴史的観測を用いて空間仮説を改訂し、ターゲットを再ローカライズし、反復的にマスクを洗練させる。 RSAgentはReasonSegテストで66.5% gIoUのゼロショット性能を達成し、Seg-Zero-7Bを9%改善し、RefCOCOgで81.5% cIoUに達した。
  論文  参考訳（メタデータ） (2025-12-30T06:50:11Z)
• DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
  DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。 ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。 DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
  論文  参考訳（メタデータ） (2025-12-07T09:23:48Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。