論文の概要: More Agents, More Samples, or More Thinking? Untangling Coordination, Ensembling, and Test-Time Compute in Multi-Agent LLMs
- arxiv url: http://arxiv.org/abs/2611.17610v1
- Date: Fri, 13 Nov 2026 00:18:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.280448
- Title: More Agents, More Samples, or More Thinking? Untangling Coordination, Ensembling, and Test-Time Compute in Multi-Agent LLMs
- Title(参考訳): エージェント, サンプル数, 思考量の増加? マルチエージェントLDMにおけるコーディネーション, 組み立て, テスト時間計算のアンタングリング
- Abstract要約: マルチエージェント言語モデルの9つの一次経験的評価を合成する。
マルチエージェントの精度差は、最も貢献度の高い研究を省く場合、総合的にもほぼゼロである。
エージェントが同一の証拠を共有する場合、コミュニケーションには情報がないため、ポジティブリターンには、分割された証拠、外部検証、モデル間のエラーの多様性が必要である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluations of multi-agent language models often compare communicating architectures against a single greedy pass. This practice confounds coordination with sample multiplicity and inference compute. We synthesize nine primary empirical evaluations comprising 516 unique multi-agent configurations organized along a resource vector R with six dimensions and a baseline ladder with four categories. Against baselines with a single pass (Category A), multi-agent accuracy differences are negative overall and near zero when omitting the largest contributing study. When evaluated against baselines matched on sample count (Category B) or resource budget (Category C), multi-agent systems average -0.042 in accuracy, and multilevel random effects modeling on the log odds scale remains negative across sensitivity checks. Multi-agent accuracy equals or falls below the baseline in 74% of these comparable contrasts, and study means are nonpositive in almost all evaluated studies. Across studies reporting both baselines, moving from a greedy pass to a sampled baseline shifts accuracy differences by -0.038 on average. Because communication adds no information when agents share identical evidence, positive returns require partitioned evidence, external verification, or error diversity across models. We provide a reviewer checklist and accounting utilities.
- Abstract(参考訳): マルチエージェント言語モデルの評価は、通信アーキテクチャを単一の欲求パスと比較することが多い。
このプラクティスは、サンプルの乗法と推論計算と協調する。
我々は,6次元の資源ベクトルRに沿って構成された516個の独特なマルチエージェント構成と,4つのカテゴリのベースラインラグからなる9つの一次経験的評価を合成した。
単一のパスを持つベースライン(カテゴリA)に対して、最大寄与研究を省略する場合、マルチエージェントの精度差は全体的に負、ほぼゼロである。
サンプル数(Category B)やリソース予算(Category C)で一致したベースラインに対して評価した場合,マルチエージェントシステムの平均-0.042精度,ログオッズスケールのマルチレベルランダムエフェクトモデリングは感度チェック全体で負の値のままである。
マルチエージェントの精度は、これらの同等のコントラストの74%において基準線以下であり、研究手段は、ほぼすべての評価された研究において非陽性である。
グリーディパスからサンプルベースラインへの移動による両ベースラインの報告は、平均して-0.038の精度差を報告している。
エージェントが同一の証拠を共有する場合、コミュニケーションには情報がないため、ポジティブリターンには、分割された証拠、外部検証、モデル間のエラーの多様性が必要である。
我々は、レビュアーチェックリストと会計ユーティリティを提供する。
関連論文リスト
- NoveltyScope: A Multi-Agent Research Assistant for Evidence-Grounded Novelty Assessment of Scientific Papers [1.2232326171442904]
NoveltyScopeは、科学論文と回収された先行研究を比較するプロトタイプである。
システムはコアタスクを抽出し、少なくとも2つの著者によるコントリビューションを行い、クローズドなローカルコーパスを検索する。
4つのスコアリングロール(検察官、弁護人、裁判官、批評家)は、その結果の証拠を使用する。
論文 参考訳(メタデータ) (2026-10-15T22:09:25Z) - Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model [1.8241268937128006]
本稿では,ベンチマーク固有のパラメータを更新することなく,ベンチマークファミリ間のニューラルデペンドARCAS 1Bを評価する。
ベンチマークネイティブの結果をプールされたサマリーと区別することにより、テスト人口、クラスバランス、記録の欠如を可視化する。
論文 参考訳(メタデータ) (2026-09-21T09:15:02Z) - Parser, Chunking, and Embedding Interactions in Retrieval-Augmented Generation over Indian Government Regulatory Documents [0.42303492200814446]
800の質問項目に対して評価した3s,3チャンキング戦略,5つの密埋モデルの因子分析を行った。
MPNet-baseは、テーブル由来の質問に対して深刻な障害モードを持つ一貫したアンダーパフォーマーである。
コーパスは98%以上のほぼ飽和したエビデンス保存天井を示しており、検索の違いは、摂取時の情報損失よりも、主にランキング品質によって引き起こされていることを示している。
論文 参考訳(メタデータ) (2026-09-15T07:32:06Z) - Diverse Evidence, Better Forecasts: Multi-Agent Deliberation Under Information Asymmetry [1.8983854039418835]
すべてのエージェントが同一の証拠を与えられると、議論は真の信念の修正ではなく、隠れ家へと崩壊する。
本稿では,関連性を考慮したエビデンス・ルーティング,合理性に基づく反復的熟考,信頼度重み付けを組み合わせた枠組みを提案する。
375のバイナリ予測質問のベンチマークであるPolyGymでは、InfoDelphiが最強のシングルエージェントとマルチエージェントベースラインを上回っている。
論文 参考訳(メタデータ) (2026-07-02T03:41:25Z) - To Isolate or to Score? Model-Adaptive Assessment for Cost-Efficient Multi-Agent RAG [31.664195597760422]
検索拡張生成のためのマルチエージェント文書評価は計算コストが高い。
各種QAベンチマークを用いて、7B-9B命令調整モデルに対する無訓練介入の制御を行った。
モデル適応型ルーティングアーキテクチャであるMADARAを提案する。
論文 参考訳(メタデータ) (2026-06-23T21:34:23Z) - Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning [112.16686518063456]
textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。
MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。
MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
論文 参考訳(メタデータ) (2026-01-14T17:57:43Z) - Detecting Adversarial Data by Probing Multiple Perturbations Using
Expected Perturbation Score [62.54911162109439]
逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。
本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。
EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
論文 参考訳(メタデータ) (2023-05-25T13:14:58Z) - Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。
特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
論文 参考訳(メタデータ) (2023-04-04T17:54:32Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳(メタデータ) (2022-07-19T12:52:33Z) - CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。
CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。
我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
論文 参考訳(メタデータ) (2021-10-26T20:14:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。