論文の概要: When Expert Disagreement Hurts: Prestige and Selectivity in LLM Decision Revision
- arxiv url: http://arxiv.org/abs/2611.16694v1
- Date: Thu, 12 Nov 2026 12:11:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.463694
- Title: When Expert Disagreement Hurts: Prestige and Selectivity in LLM Decision Revision
- Title(参考訳): 専門家がハルトを診断するとき: LLM 決定改訂における先入観と選択性
- Abstract要約: 言語モデルが他のエージェントが同意しなかった場合、逆数も最終的な精度も、誤りを修正しているか、正しい答えを放棄しているかどうかを示さない。
本稿では,質問,証拠,モデルの初期回答が固定され,修正コンテキストのみを変化させる制御された2パス監査を導入する。
- 参考スコア(独自算出の注目度): 0.6588840794922407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When language models revise a decision after another agent disagrees, neither reversal counts nor final accuracy shows whether they are fixing mistakes or abandoning correct answers. We introduce a controlled two-pass audit that holds the question, the evidence, and the model's initial answer fixed and varies only the revision context: neutral reflection, anonymous disagreement, or disagreement attributed to a domain expert. For binary decisions the accounting is exact: revision raises accuracy only if it is selective enough, reversing wrong answers more than $a/(1-a)$ times as often as correct ones, where $a$ is initial accuracy (nine times at 90%). Across five models and 1,989 evidence-grounded decisions in medicine, science, and law, no model clears this bar under expert disagreement, and accuracy falls by up to 16.1 points. The expert label, a prestige cue, adds reversals for four of the five models, yet its effect on accuracy ranges from a 5.2-point loss to a 2.4-point gain, so reversal counts are a poor proxy for harm. With identical arguments from both sources, the label still raises reversal for three proprietary models and in a pooled analysis of four newer models. Models also respond to stated source reliability. Revision pipelines should therefore be evaluated with paired, conditional metrics, per model and protocol.
- Abstract(参考訳): 言語モデルが他のエージェントが同意しなかった後、決定を改訂すると、逆数も最終的な精度も、間違いを修正しているか、正しい答えを放棄しているかどうかを示さない。
我々は、中立的なリフレクション、匿名の意見の相違、ドメインの専門家による意見の不一致という、モデルの初期回答を固定し、修正コンテキストだけを変化させる制御された2パス監査を導入する。
リビジョンは、それが十分に選択的である場合にのみ正確であり、間違った答えを$a/(1-a)$倍の頻度で逆転させる。
医学、科学、法における5つのモデルと1,989の根拠に基づく決定において、専門家の意見の不一致の下でこのバーをクリアするモデルはなく、精度は16.1ポイントまで低下する。
専門家のラベルは5つのモデルのうち4つのモデルにリバーサルを追加するが、精度への影響は5.2ポイントの損失から2.4ポイントのゲインに及んでいる。
両情報源の同一の議論により、このラベルは依然として3つのプロプライエタリなモデルと4つの新しいモデルのプール分析の逆転を引き起こしている。
モデルはソースの信頼性にも反応する。
したがって、リビジョンパイプラインはモデルとプロトコル毎にペアで条件付きメトリクスで評価されるべきである。
関連論文リスト
- Routes of Reasoning: Reading and Reshaping Test-Time Compute in MoE Models [54.47588263857889]
推論モデルは、計画、導出、検証など、異なる振る舞いにまたがるテスト時間計算を割り当てます。
トークンの予算やステアリングのような既存の介入は、特定の行動をターゲットにするのではなく、推論期間を規制する。
我々は,Mixture-of-Expertsルータが,動作制御のための自然な,トレーニング不要なインターフェースを提供することを示した。
論文 参考訳(メタデータ) (2026-11-04T04:13:02Z) - Smart Alone, Blind Together: Why Accuracy Fails to CertifyTheory of Mind in Multi-Agent Teams [0.34376560669160394]
私たちは2つの理由から、正確さが間違った証明書であると主張している。
まず、動作に必要な正確性は、間違ったアクションコストに依存するため、バーはモジュールではなく、デプロイメントに属します。
モジュールをデプロイすることなく,エラーコスト,ペアインタラクション,および測定依存性の価格を設定できるBlind-Spot Gateを用いて,デプロイの認証を提案する。
論文 参考訳(メタデータ) (2026-10-13T18:50:10Z) - RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation [8.913068656400208]
RAG-Stress(英語版)は、検索強化世代における証拠依存の限界を調べるための診断プロトコルである。
本研究では,各モデルの質問に対する誤解率(MR)を,検索なしで正確に解答する。
我々は、APIモデル、オープンモデル、強化学習で訓練された検索エージェントにまたがる15のシステムを評価する。
論文 参考訳(メタデータ) (2026-10-08T03:40:48Z) - Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。
合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
論文 参考訳(メタデータ) (2026-09-22T11:34:53Z) - ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳(メタデータ) (2026-09-15T04:59:03Z) - When Verifiers Vote Backwards under Verdict Substitution: Signed Pivotal Value in Correlated Self-Consistency [9.710464466895521]
1回の投票で決定されるクエリのみ 多数決を変更できる。
ラベル付き検証スタイルの介入を用いて,その変化の兆候について検討する。
論文 参考訳(メタデータ) (2026-08-08T05:02:34Z) - Denoising Iterative Self-Correction: Structured Verification Loops for Reliable LLM Reasoning [5.634990956257954]
大規模言語モデルでは、流動的だがしばしば誤った多段階推論が生成され、単純補正法は、既に正しい答えを劣化させるリスクがある。
Denoising Iterative Self-Correction (DISC) は、検証された質問の出力を、解の破損箇所のノイズ測定として扱うテストタイムプロシージャである。
二分判定ゲートは、検証器と修正器が共に修理誤差を補う間、既に正しい答えを損なうような書き直しをブロックすることで補正精度を制御する。
論文 参考訳(メタデータ) (2026-06-19T20:23:14Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳(メタデータ) (2026-04-03T15:19:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。