論文の概要: Measuring Collapse and Correction in Homogeneous-Panel LLM Debate

• arxiv url: http://arxiv.org/abs/2609.35279v1
• Date: Mon, 28 Sep 2026 14:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:56:57.918231
• Title: Measuring Collapse and Correction in Homogeneous-Panel LLM Debate
• Title（参考訳）: 均質パネルLDMの崩壊と補正の測定
• Abstract要約: マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
• 参考スコア（独自算出の注目度）: 51.03982042769297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent large language model (LLM) debate is often evaluated by whether final answers improve, but movement is not necessarily improvement: the same discussion can rescue an initially wrong majority or destroy an initially correct one. Standard final-accuracy evaluations conflate these opposing mechanisms. We introduce an auditable protocol for homogeneous debate on multiple-choice questions (MCQs) that records each run as a transition ledger over collapse, correction, onset, and signed intervention utility. On 6,925 MMLU-Pro debates, the protocol identifies 253 collapses and a parallel correction ledger that changes how interventions should be judged. Replay experiments reveal the central tradeoff: a leave-one-model-out probe-gated freeze prevents 29 collapses but loses 108 corrections under equal weights, so collapse prevention alone can recommend the wrong policy. A compact pre-debate 8-probe screen is a triage signal: its unadjusted family-level association with conditional-collapse risk is high (G=7, Spearman rho=0.893, exact two-sided p=0.0123), but initial-majority accuracy is a close comparator (rho=0.821; family partial rho=0.767, p=0.0877), so we do not treat it as calibrated or capability-adjusted prediction. Round-level traces localize many collapses to the first debate round, where early disagreement can precede both harmful cascades and useful recovery. We release replayable schemas, coders, audits, cost cards, and zero-API rebuild scripts so future model-scaffold rows can be compared under the same denominators and signed utility ledger.
• Abstract（参考訳）: マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。 6,925のMMLU-Proに関する議論では、プロトコルは253の崩壊と、介入の判断方法を変更する並列修正台帳を識別する。 リプレイ実験は、中心的なトレードオフを明らかにしている: 残留1モデルアウトのプローブゲートフリーズは29の崩壊を防ぐが、108の修正を等重で失うため、崩壊防止だけで間違った政策を推奨できる。 コンパクトな8プローブスクリーンはトリアージ信号である: 条件付き崩壊リスクに対する調整されていない家族レベルの関連は高い(G=7, Spearman rho=0.893, exact two-sided p=0.0123)が、初期精度は近いコンパレータである(rho=0.821; family partial rho=0.767, p=0.0877)。 ラウンドレベルトレースは、多くの崩壊を第1回議論ラウンドにローカライズし、初期の不一致が有害なカスケードと有用な回復の両方に先行する可能性がある。 リプレイ可能なスキーマ、コーダ、監査、コストカード、ゼロAPIリビルドスクリプトをリリースし、将来のモデルスキャフォールド行を同じ分母と署名されたユーティリティ台帳で比較できるようにします。

関連論文リスト

• When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
  LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。 観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。 完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
  論文  参考訳（メタデータ） (2026-09-21T07:06:37Z)
• CARD: Calibration via Agreement in Reverse Diffusion for Out-of-Domain MRI Segmentation [14.844162865265673]
  そこで我々は,不一致の時間的集合を全クラスにわたって1ピクセルあたりの温度場にマッピングし,セグメント化ができない間に信頼度が変化するようにCARDを提案する。 心臓、前立腺、脳のMRIシフトによって、CARDは各設定において最強のベースラインと比較した場合、49の45のキャリブレーション誤差を低下させる。
  論文  参考訳（メタデータ） (2026-08-26T07:23:08Z)
• MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation [51.32912774464992]
  大規模な言語モデルは、しばしば完全に指定されたプロンプトからタスクを解くが、同じ要求が複数のターンに広がると分解する。 本研究は, モデル自体の方針から, 履歴をクリアした基準を用いて汚染を低減させる, オンライン自己蒸留法であるMAIGOを提案する。 ミドルターンの場合、MAIGOは、ユーザ可視のシャードプレフィックスを保持しながら、事前のアシスタント応答を削除します。
  論文  参考訳（メタデータ） (2026-05-26T15:38:46Z)
• Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection [0.0]
  マルチエージェントの議論は事実と推論を改善するが、ほとんどのレシピは固定されたラウンドカウントを選択する。 我々は,LLM討論のプラグイン計算として,Wald's Sequential Probability Ratio Test (SPRT)を適用した。 GSM8Kでは、ルールは1.01ラウンド(4.06 LLMコール)で97.0%の精度で終了するが、15回のコールで固定5の討論では99.0%の精度で終了する。 MMLUでは、キャリブレーションされたKLは約0に崩壊し、ルール上限は2.1倍のコストで99.5%となる。
  論文  参考訳（メタデータ） (2026-05-18T23:43:12Z)
• Statistical Scouting Finds Debate-Safe but Not Debate-Useful Cases: A Matched-Ceiling Study of Open-Weight LLM Reasoning Protocols [0.0]
  我々は,無意味な復号化,3サンプル投票,および MuSiQue と GSM8K に関する2段階の批判・修正の議論を評価する。 MuSiQueでは、例ごとに正しいプロトコルを選択するオラクルが、最良の固定されたプロトコルよりも+14.0と+13.7ppを得る。 投票エントロピー閾値は、両モデルで最高の固定プロトコルを順に打ち負かす唯一のコントローラである。
  論文  参考訳（メタデータ） (2026-05-10T15:56:37Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• From Debate to Decision: Conformal Social Choice for Safe Multi-Agent Deliberation [12.294365308421606]
  我々は、議論のアウトプットを調整された行動逆エスカレート決定に変換する、ポストホックな意思決定層であるConformal Social Choiceを紹介する。 階層的なアクションポリシーは、シングルトンセットを自律的なアクションにマップし、より大きなセットを人間のエスカレーションにマップする。 この層は議論が確実に間違っている場合に作用しないため、残りの共形シングルトンは90.0--96.8%の精度に達する。
  論文  参考訳（メタデータ） (2026-04-09T00:15:20Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• One Sample is Enough to Make Conformal Prediction Robust [53.78604391939934]
  共形予測は, 1つのランダムな摂動入力に対して前方通過しても, ある程度の堅牢性が得られることを示す。 提案手法は,入力毎に多数のパス(例えば100回程度)を使用するSOTA法と比較して,平均セットサイズが小さいロバストな集合を返す。
  論文  参考訳（メタデータ） (2025-06-19T19:14:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。