論文の概要: Unanimously Wrong: Certified Abstention from How Medical LLM Consensus Forms
- arxiv url: http://arxiv.org/abs/2610.07570v1
- Date: Tue, 06 Oct 2026 00:59:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.740074
- Title: Unanimously Wrong: Certified Abstention from How Medical LLM Consensus Forms
- Title（参考訳）: 医学的LLMの合意形成の正当性
- Abstract要約: システムは全会一致で間違いを犯し、全てのサンプルに対して同じ誤った答えを返す。
ProbeGuardは承認された棄権フレームワークであり、コンセンサスの形成に関する棄権決定を基盤としている。
全会一致の投票では、合理的なセマンティック・エントロピーは、投票の背景にある理由が一致しているかを確認し、アクティブ・プローブは反証拠を回収する。
- 参考スコア（独自算出の注目度）: 12.737053086429894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In clinical practice, agreement among independent experts is treated as evidence of reliability, and multi-round consensus has become a core mechanism of agentic medical question-answering systems. When such a system must decide whether to trust its own answer, the prevailing signal is again agreement, now among the sampled answers. But agreement is a fragile proxy for correctness. A system can be unanimously wrong, returning the same incorrect answer on every sample, and on these questions agreement-based signals carry no information. The cause is that these signals read only the final state of the consensus and discard how it was reached. Agreement that was reached by resolving disagreement with evidence looks identical, at the end, to agreement that was present from the first sample because every sample shares one misconception. ProbeGuard is a certified abstention framework that bases the abstention decision on how the consensus formed. Process features trace agreement trajectories, minority persistence, and retrieval saturation. For unanimous votes, rationale semantic entropy checks whether the reasons behind the vote cohere, and an active probe retrieves counter-evidence and measures whether the consensus survives. A stratified Learn-then-Test calibration then converts these scores into a distribution-free bound on selective risk. We evaluate ProbeGuard on three medical QA benchmarks and a hard-frontier reference, with a published multi-round agentic RAG substrate, against six abstention baselines. On MedQA, 13.4% of unanimous votes are wrong, and no agreement-based signal can flag them. Process signals raise the discrimination of correct from incorrect consensus from chance to 0.696 AUROC. The certified rule answers six in ten unanimous-layer questions at an observed selective risk of 9.0%, and nine in ten once in-domain calibration data accumulate.
- Abstract（参考訳）: 臨床実践においては、独立した専門家間の合意は信頼性の証拠として扱われており、多ラウンド合意はエージェント医療質問応答システムの中核的なメカニズムとなっている。
このようなシステムが自分自身の回答を信頼するかどうかを判断しなければならない場合、そのシグナルは再び一致し、現在サンプル化された回答のうちの1つとなっている。
しかし、合意は正確性のための脆弱なプロキシである。
システムは全会一致で間違いを犯し、全てのサンプルに対して同じ誤った答えを返す。
原因は、これらの信号がコンセンサスの最終的な状態のみを読み取って、どのように到達したかを捨てたからである。
証拠との相違を解消することで合意に達した合意は、最後には、すべてのサンプルが1つの誤解を共有しているため、最初のサンプルから得られた合意と同一に見える。
ProbeGuardは承認された棄権フレームワークであり、コンセンサスの形成に関する棄権決定を基盤としている。
プロセスは、トレース合意の軌跡、マイノリティの持続性、検索飽和を特徴とする。
全会一致の投票では、合理的なセマンティック・エントロピーは、投票の背景にある理由が一致しているかを確認し、アクティブ・プローブは反証拠を回収し、合意が存続するかどうかを測定する。
階層化されたLearning-then-Testキャリブレーションは、これらのスコアを選択リスクに基づく分布自由境界に変換する。
われわれはProbeGuardを3つの医療QAベンチマークとハードフロンティア基準で評価し、マルチラウンドエージェントRAG基板を6つの禁忌基準線に対して評価した。
MedQAでは、全投票の13.4%が間違っている。
プロセス信号は、間違ったコンセンサスからの正しい判定を0.696 AUROCに引き上げる。
認証されたルールは、観察された選択リスク9.0%で全層質問10件中6件、ドメイン内キャリブレーションデータ10件中9件に回答する。
関連論文リスト
- Can Terminal Agents Trust Their Own Verification? Diagnosing and Improving Self-Verification [37.46072257265434]
完全候補が形成された後、自己検証はほぼ普遍的であるが、誤った候補が61.43%しか検出されず、検出されたエラーの49.36%のみが修復に成功している。
本研究の目的は,学生が最初に候補解を生成できるSCVD(Student-Conditioned Verification Distillation)を提案することである。
3つのQwen3.5バックボーンの中で、SCVD は TerminalBench2.1 上の textscPass@1 を 9.74--16.85 のパーセンテージで改善し、標準のフルトラジェクタ上で 4.49--8.61 のパーセンテージで改善した。
論文 参考訳（メタデータ） (2026-09-30T02:42:23Z) - Symmetry-Aware Likelihood-Orbit Aggregation for Selective Left-Right Claim Verification [14.108900142001628]
クローズド形式のコントラストであるRelation-Orbitを導入する。
VSRとGQAの4つの凍結された視覚言語モデルでは、Relation-Orbitは10%選択リスクキャリブレーションターゲットで平均テストカバレッジを高くする。
論文 参考訳（メタデータ） (2026-09-15T11:19:03Z) - JuryProbe: An Empirical Consensus-Risk Diagnostic for Routing Reference-Free Factuality Judge Panels to Grounded Verification [4.583541422554719]
JuryProbeは、基準のない事実性判断パネルのための実証的なコンセンサスリスク診断である。
偽陰性(FNのみ)判定相関と偽コンセンサスリフトを用いたラベル付き校正プローブからコンセンサスリスクを推定する。
論文 参考訳（メタデータ） (2026-08-20T23:11:55Z) - proxymate: Diagnosis and Adjustment of Proxy Estimates for Reliable Inference [39.481881531386]
プロキシ検証と調整のためのフレームワークでオープンソースのPythonパッケージであるoxymateを紹介します。
プロキシメイトは、表現力レベル(人口的妥当性)、単位レベル(測定品質)、推定レベル(判定妥当性)、ドメインレベル(ドメイン間の輸送性)の4つのレベルに分けられる。
論文 参考訳（メタデータ） (2026-07-27T13:19:03Z) - When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG [0.0]
多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。
問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。
故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
論文 参考訳（メタデータ） (2026-06-22T00:08:00Z) - SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。
共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。
制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
論文 参考訳（メタデータ） (2026-05-05T09:05:40Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳（メタデータ） (2026-04-17T13:27:11Z) - Deliberative Curation: A Protocol for Multi-Agent Knowledge Bases [0.0]
AIエージェントは、分離されたツールから共有知識エコシステムの協力的な参加者へと移行するにつれて、集合的知識のキュレーションの管理は重要な課題となる。
3つの基盤となるガバナンス層を組み合わせた熟考的キュレーションプロトコルを提案する。
本手法は,2つの逆転シナリオの下で,7つの行動的アーキタイプにまたがる100個のエージェントを用いたエージェントベースシミュレーションにより評価する。
論文 参考訳（メタデータ） (2026-03-27T12:23:21Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。