論文の概要: LLMs Can Predict Failure Risk, But Struggle to Predict Which Collaboration Protocol Pays Off: Cost-Aware Protocol Routing Across Reasoning Tasks
- arxiv url: http://arxiv.org/abs/2608.14927v1
- Date: Fri, 14 Aug 2026 22:35:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.127928
- Title: LLMs Can Predict Failure Risk, But Struggle to Predict Which Collaboration Protocol Pays Off: Cost-Aware Protocol Routing Across Reasoning Tasks
- Title（参考訳）: LLMは失敗のリスクを予測できるが、どのコラボレーションプロトコルが効くかを予測しよう
- Abstract要約: マルチエージェント大規模言語モデル(LLM)システムは、より多くの計算に費やして推論を改善することができる。
この決定は、各設定内に固定されたソルバを保持しながら、すべての問題を4つのプロトコルで実行することで分離する。
- 参考スコア（独自算出の注目度）: 3.789882665982407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent large language model (LLM) systems can improve reasoning by spending more computation, but deployment requires deciding when extra collaboration is worth its cost. We isolate this decision by running every problem under four protocols while holding the solver fixed within each setting: direct solving (Baseline), iterative self-correction (Single), planner-executor-reviewer collaboration (PER), and multi-agent deliberation (Broadcast). The primary benchmark comprises 4,181 competition-level math problems; paired robustness checks cover four benchmarks spanning competition math, biology, and broader science with two solver families. Across fixed policies, trained routers, and frozen LLM routers, conservative policies under-escalate, whereas higher-solve frozen routers often over-escalate. A post-answer, pre-collaboration gpt-oss-120b probe ranks Baseline failures with 0.8847 AUROC (4,151 parseable cases; 95% CI [0.8732, 0.8955]). The same score remains informative for predicting whether any collaboration helps (0.7683 AUPRC), but is much weaker for identifying PER- or Broadcast-specific value (0.1674 and 0.1041 AUPRC). Separately, the pre-answer self-confidence gate reaches 78.0% solve at 45K tokens, compared with 73.8% at 71.3K for a frozen gpt-oss-120b router and 92.4% for a retrospective fixed-order oracle. Across 10 paired model-condition settings, the oracle adds 23.2-58.3 points of retrospective coverage over Baseline, but protocol profiles vary by task. In the six settings with held-out router evaluations, oracle gaps remain 18.5-28.9 points. Confidence can therefore support initial escalation, while protocol-specific cost-aware routing remains unresolved.
- Abstract（参考訳）: マルチエージェントの大規模言語モデル(LLM)システムは、より多くの計算に費やすことで推論を改善することができるが、デプロイには、余分なコラボレーションがコストに値するかどうかを決定する必要がある。
直接解法(Baseline)、反復自己補正(Single)、プランナー・エグゼクタ・リビューア協調(PER)、マルチエージェント検討(Broadcast)である。
主要なベンチマークは4,181の競合レベルの数学問題で構成されており、ペア化された堅牢性チェックは、競合数学、生物学、より広い科学と2つの解法ファミリにまたがる4つのベンチマークをカバーする。
固定されたポリシー、訓練されたルータ、凍結されたLLMルータ、保守的なポリシーを過度にエスカレートする一方、高解像度の冷凍ルータはしばしば過エスカレートする。
調査後、gpt-oss-120bプローブはベースラインの故障を0.8847 AUROC (4,151ケース、95% CI [0.8732, 0.8955])とランク付けした。
同じスコアは、コラボレーションが役立つかどうか(0.7683 AUPRC)を予測する上でも有益であるが、PERまたはブロードキャスト固有の値(0.1674および0.1041 AUPRC)を識別する場合には、はるかに弱い。
解答前の自己自信ゲートは、45Kトークンで78.0%に達し、凍ったgpt-oss-120bルータでは73.3K、レトロスペクティブの固定順序オラクルでは92.4%に達した。
10組のモデル条件設定で、このオラクルはBaselineよりも23.2-58.3ポイントのレトロスペクティブカバレッジを追加するが、プロトコルプロファイルはタスクによって異なる。
ルータの評価を保留した6つの設定では、オラクルギャップは18.5-28.9点のままである。
そのため、信頼性は初期エスカレーションをサポートするが、プロトコル固有のコスト対応ルーティングは未解決のままである。
関連論文リスト
- From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳（メタデータ） (2026-09-01T17:39:26Z) - COVER: Identifiable Evaluation of Coalition Routing [0.0]
マルチエージェントシステムがチームを変更すると、メッセージと最終回答も変更されるので、エンドツーエンドの精度ギャップはそれ自体がルーティング効果を識別しない。
結果が生成される前に、公開情報境界、下流スタックG、有限の法定チームファミリーを固定する評価契約を導入する。
完全なカバレッジは、そのスタック上の正確な有限括弧のオラクルの後悔条件を特定する。
論文 参考訳（メタデータ） (2026-08-28T16:01:07Z) - Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents [60.650808962786364]
外部判断や選択時間テストの実行なしに,ネイティブなMoEルータトレースがステアリングと選択をガイドできるかどうかを検討する。
我々の分析は、ルーティングが堅牢な行動的役割シグナルを提供することを示している。トークン・グラニュラ・リードアウトと決定整合比較セットは、ルーティングを効果的に制御する。
オープンウェイトスパースMOEエージェントを用いたSWEベンチ検証を行い,評価を行った。
論文 参考訳（メタデータ） (2026-08-23T03:07:03Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - InvestPhilBench: A Multi-Layer Dynamic Benchmark for Evaluating Large Language Model Procedural Reasoning in Expert Investment Philosophy [0.9924185669370708]
InvestPhilBenchは8つの認知層にまたがる動的ベンチマークである。
v0.6リリースには118のプライマリソース認証投資原則カードが含まれている。
大規模な再現可能なスコア付けには、Benchmark Automated Scoring Pipelineを紹介します。
論文 参考訳（メタデータ） (2026-06-24T15:53:20Z) - Design and Evaluation of Multi-Agent AI Oracle Systems for Prediction Market Resolution [0.0]
予測市場は、不確実な出来事を予測するために集合的なインテリジェンスを集約する。
既存のオラクルシステムは、高速だが不安定な自動化と、正確だがコストのかかる人間の仲裁とをトレードオフする。
マルチエージェントLLMアーキテクチャが単一モデルベースラインよりもオラクル分解能を向上できるかどうかを評価する。
論文 参考訳（メタデータ） (2026-05-29T03:44:19Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Validated Intent Compilation for Constrained Routing in LEO Mega-Constellations [1.0152838128195467]
本稿では,高レベルな演算子の意図を低レベルなルーティング制約に変換するエンドツーエンドシステムを提案する。
我々のシステムは,運用運用に必要な安全保証を維持しつつ,オペレータ意図とネットワーク構成のセマンティックなギャップを埋める。
論文 参考訳（メタデータ） (2026-04-08T16:29:25Z) - Select-then-Solve: Paradigm Routing as Inference-Time Optimization for LLM Agents [40.71556008019808]
Direct、CoT、ReAct、Plan-Execute、Re Reflection、ReCodeの6つの推論時パラダイムを比較します。
推論構造は、いくつかのタスクで劇的に役立つが、他のタスクに悪影響を及ぼす。
提案手法は,各タスクに応答する前に,軽量な埋め込み型ルータが最適なパラダイムを選択することである。
論文 参考訳（メタデータ） (2026-04-08T07:20:23Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。