論文の概要: What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation
- arxiv url: http://arxiv.org/abs/2609.27822v1
- Date: Tue, 18 Aug 2026 21:39:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.977032
- Title: What Confidence Routing Is Actually Doing: Auditing Routing, Calibration, and Commitment in Multi-Agent Deliberation
- Title（参考訳）: 信頼のルーティングとは何か - マルチエージェントの議論におけるルーティング、校正、コミットメントの監査
- Abstract要約: マルチエージェント設計では、エージェントに対して信頼性を報告し、最高のエージェントが次に話すように要求する。
トラヒックレベルの3つの質問を分離することにより、信頼性が低下した放送プロトコルを監査する。
- 参考スコア（独自算出の注目度）: 2.6977334313650565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common multi-agent design asks agents to report confidence and lets the highest-scoring agent speak next, implicitly using one scalar both to route the conversation and to estimate uncertainty. We audit this confidence-routed broadcast protocol by separating three trace-level questions: whether it selects the right candidate (routing), whether reported confidence behaves like a probability (calibration), and whether the selected agent publicly states the answer that won the turn (commitment). Our primary study covers 4,181 gpt-oss-120b olympiad-math traces; we repeat the audit on a 2-by-2 actor-by-benchmark grid that adds gemma-4-31B-it and a biology multiple-choice benchmark. In the primary cell, confidence discriminates correct from wrong candidates (AUROC 0.72) but is strongly overconfident (79% mean stated confidence versus 52% accuracy). A cross-fitted, tier-stratified isotonic procedure reduces Expected Calibration Error from 0.278 to 0.008 on held-out candidates, but it does not recover missing discrimination: raw AUROC is only 0.537 and 0.440 in the two Gemma cells. Routing is likewise setting-dependent. Fixed routers differ by at most 1.1 percentage points on gpt-oss/math, whereas raw-confidence argmax performs 5.6 and 11.2 points below random-valid selection in the Gemma cells. Commitment is distinct again: in the primary cell, poll and spoken answers diverge in 20.4% of valid pairs, 62.4% of those revisions are fresh generations, and the unconditional correctness shift is -1.7 points; the other three cells instead range from +0.9 to +12.2 points. The transferable lesson is procedural: routing discrimination, probability calibration, and public commitment must be measured separately before raw confidence is used for deployment decisions.
- Abstract（参考訳）: 一般的なマルチエージェント設計では、エージェントに信頼を報告させ、最高のエージェントが次に話すように求め、暗黙的に1つのスカラーを使用して会話をルーティングし、不確実性を推定する。
本報告では, 信頼度を低下させた放送プロトコルについて, 適切な候補を選択するか否か(投票), 報告された信頼度が確率として振る舞うか否か(校正), 選択したエージェントが, 投票に勝った回答を公言するか否か(コミット)の3つの質問を分離して評価する。
初回調査では4,181gpt-oss-120bオリンピアド・マス・トレースについて検討し,gemma-4-31B-itと生物多重選択ベンチマークを付加した2-by-2アクター・バイ・ベンチマーク・グリッドの試験を繰り返した。
一次細胞では、信頼度は間違った候補(AUROC 0.72)と正しく区別されるが、自信過剰である(79%は信頼度が52%に対して正確である)。
クロスフィッティングされた層状イソトニック・プロシージャは、期待された校正誤差を保留候補の0.278から0.008に減少させるが、AUROCは2つのGemma細胞において0.537と0.440のみである。
ルーティングも設定に依存します。
固定ルータはgpt-oss/mathで少なくとも1.1ポイントは異なるが、生密度のargmaxはGemmaセルのランダム価選択より5.6と11.2ポイント低い。
一次の細胞では、ポーリングと音声の答えは20.4%の有効ペアで分岐し、62.4%は新世代であり、非条件の正しさのシフトは-1.7ポイントであり、残りの3つの細胞は+0.9から+12.2ポイントである。
ルーティングの識別、確率校正、公約は、展開決定に生の信頼性を使用する前に別々に測定されなければならない。
関連論文リスト
- Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute [0.4310167974376404]
オープン言語モデルを微調整すると、自身の信頼度が誘引制御信号であるモデルが得られる。
我々は,実行前の基準下での両使用量を評価した。
検索だけで92-99.8%のベストケースの組み合わせ精度が回復する。
論文 参考訳（メタデータ） (2026-09-17T09:17:00Z) - PROOF: Profiling Reliability of Object-Level Facts in Large Language Models [33.72751145910978]
PROOFは、命令調整言語モデルにおける事実カバレッジのためのプロファイル指向のベンチマークである。
各質問には、明示的な"I don't know"オプション、"No correct option"コントロール、および9つの制御された定式化がある。
我々は166,374個のオープンウェイトモデル配置を18個のオープンウェイトモデル配置で評価し,各プロンプトと固定10%のサブセットで個別にパーターブデコーディングを行う。
論文 参考訳（メタデータ） (2026-08-24T17:13:25Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Share the Judge, Learn the Deferral: Where Specialization Helps LLM Evaluation [0.1269104766024433]
99,952 の公試例について検討した。
正しいルーブリックを供給すると、応答のみの制御よりもロックテストの精度が2.11ポイント向上する。
RewardBench 2では、報酬スコアを変更することなく0.6B-4B-8Bカスケードを通した正当性ヘッドの例を学習した。
論文 参考訳（メタデータ） (2026-07-30T10:29:22Z) - Rehearse: Stepping Back from the Confidence Cliff in Self-Improving Autoresearch [44.05969616406614]
Autoresearchは、変更を提案し、フルトレーニングジョブを実行し、メトリックを改善する変更を維持することによって、マシンラーニングコードを改善する。
本研究では,この事前執行判断の信頼性が,自動検索の軌道上でどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-07-30T05:08:15Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。
集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。
提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
論文 参考訳（メタデータ） (2026-05-13T20:33:59Z) - Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making [38.75183725659772]
大規模言語モデル(LLM)は、複雑な推論を必要とするタスクにますます使われている。
モデル動作の理解と信頼性向上には,内部プロセスの測定が不可欠である,と我々は主張する。
計画,修正,資源制約のある意思決定という3つの中核的な側面に沿ってLCMを評価する枠組みを導入する。
論文 参考訳（メタデータ） (2025-06-13T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。