論文の概要: LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes and What Recovers It

• arxiv url: http://arxiv.org/abs/2608.31016v1
• Date: Mon, 31 Aug 2026 15:59:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.496075
• Title: LLM Judges Verify Presence, Not Absence: Omission Blindness in AI Clinical Notes and What Recovers It
• Title（参考訳）: LLMの審査員は、AIの臨床的ノートに抜け穴があることを証明し、それを回復する
• Abstract要約: Ambient AIは、ドラフト臨床ノートを書き、公開監査では、主なエラーは欠落である。 私たちのベンチマークには、監査済みのファクトシートから500個のルリックエラーノートペアがあります。 シングルノートでは、完璧なノートよりも確実にデザインフラグが省略されることはない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ambient AI scribes draft clinical notes, and published audits find their dominant error is omission: information the encounter established that the note fails to record. The standard check is an LLM judge: a second model reads the note against the transcript and flags problems. We ask whether judges detect omissions. Public corpora cannot supply the answer key: their clinician reference notes and transcripts are materially discrepant. Our benchmark has 500 single-error note pairs from audited fact sheets, 298 with a named fact certainly absent and 202 added-or-altered controls. Across eight judge designs, paired discrimination (the flawed note below its clean twin, 0.5 a coin flip) reads 0.79-0.94 on added or altered content and 0.50-0.63 on omissions. On single notes, no design flags omissions reliably more often than perfect notes. Wording changes, voting and GEPA prompt optimisation move the operating point without creating usable detection. Restructuring the task recovers it: list the facts the transcript establishes, then check the note for each. Two methods reach it independently and trade off: a per-fact pipeline, and a GEPA-evolved prompt doing the same in one call. The pipeline's flags name the missing fact and its severity at 2.7% false alarms. The single call detects more (36.9% against 24.6%, p=0.002) at 6.2% false alarms and a tenth of the cost per note. A physician author validated 70 items and, where the two routes disagree, sided with the pipeline on 10 of 10 (p=0.002). A second clinician, not an author, graded the severity rubric blind and agrees to within a grade. On real vendor notes from a companion census no benchmark threshold transfers, but the re-calibrated single call detects more than the best of the eight at half its false-alarm rate. Omissions whose fact is restated elsewhere defeat both routes. We release the benchmark, prompts and judgements.
• Abstract（参考訳）: Ambient AIは、ドラフトの臨床ノートを書き、公開監査では、彼らの圧倒的なエラーは欠落である。 標準チェックは LLM のジャッジであり、第2のモデルは書き起こしに対してメモを読み、問題をフラグ付けする。 裁判官が欠席を検出するかどうかを問う。 公開コーパスは、その答えキーを供給できない。 私たちのベンチマークには、監査済みのファクトシートから500のシングルエラーノートペア、名前のついたファクトが確実に欠落した298、追加または修正された202のコントロールが含まれています。 8つの審査設計、ペア識別(清潔な双子の下の欠陥音、硬貨のフリップ0.5)で、追加または変更されたコンテンツは0.79-0.94、省略は0.50-0.63である。 シングルノートでは、完璧なノートよりも確実にデザインフラグが省略されることはない。 単語の変更、投票、およびGEPAは、使用可能な検出を作成することなく、オペレーティングポイントを最適化する。 タスクの再構築がそれを回復する: 書き起こしが確立した事実をリストし、それぞれのメモをチェックする。 2つのメソッドが独立して到達し、ファクト単位のパイプラインと、GEPAに進化したプロンプトが1回の呼び出しで同じことをする。 パイプラインのフラグは、行方不明の事実と、その深刻度を2.7%の誤報としている。 1回の呼び出しで6.2%の誤報と10分の1のコストで36.9%が24.6%、p=0.002が検出される。 医師の著者は70項目を検証し、2つのルートが一致しない場合は10点中10点(p=0.002)にパイプラインを並べた。 著者ではない2番目の臨床医は、重度ルーブリックをブラインドに格付けし、グレード以内に同意する。 関連する調査から得られた実際のベンダーのメモでは、ベンチマークのしきい値の転送はないが、再校正された単一の呼び出しは、その偽アラームレートの半分で8つのうちの最高のものより多くを検出する。 事実が他の場所で再確認された命令は、両方のルートを破る。 ベンチマーク、プロンプト、判断を公表します。

関連論文リスト

• Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
  言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。 我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。 52,988件の要求を監査し、スピアマン0.400で0.90と一致した。 証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
  論文  参考訳（メタデータ） (2026-09-03T17:59:43Z)
• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails [0.0]
  自己改善エージェントパイプラインは、その中心に問題がある。 評価信号は、判定バイアス、ハーネスとメートル法故障、地道エラー、報酬ハッキングの11のクラスで失敗した。 ProCTORは、ステートフルオーケストレータがすべてのツールアクセスを保持し、ステートレスサブエージェントが障害を診断し、それらが適用できないドラフト突然変異を診断する、教師と学生のループである。
  論文  参考訳（メタデータ） (2026-09-02T07:54:23Z)
• One note in three: a verified census of three deployed AI scribes, and the instrument that counted it [0.0]
  私たちは、同じ142のコンサルティングで3人の商用AIスクリプタを監査しました。 重要なフィルタをクリアする5,898個のモデルが2つのモデルからなる対向パネルに到達した。 3分の1のメモは、アレルギーや薬物情報に集中して、確認された失敗をもたらす。
  論文  参考訳（メタデータ） (2026-08-31T16:00:27Z)
• Hindsight Memory-PRM: Supervising Memory Management with Auditable Hindsight Credit [48.811961095386]
  Hindsight Memory-PRMはこの監査パスを2回利用します。 オフラインで操作条件付きメモリユーティリティの批判をトレーニングする。 オンラインでは、検索、引用、および1つの制御された削除と再回答が、介入校正されたエントリーレベルのプレゼンスクレジットを確定する。
  論文  参考訳（メタデータ） (2026-08-30T06:53:13Z)
• Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
  障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。 問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
  論文  参考訳（メタデータ） (2026-08-24T10:19:17Z)
• FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact [0.0]
  AIシステムは情報を常に書き直す:会話が記憶される記憶となり、ドキュメントが答えになる。 私たちはファクト・ウォッシングと呼んでいる。これはオープンソースのライトタイム・ゲートで、判断的にそれをキャッチし、裁判官ではなく、名前のついた旗や証拠を持っています。 コストの安いチェックはいつ,モデルが必要なのか?
  論文  参考訳（メタデータ） (2026-08-04T09:20:54Z)
• Explaining AI-Image Detection: What the Heatmap Actually Shows [65.01025489527173]
  私たちは検出器を構築し、その証拠として属性マップを添付します。 私たちは、そのペアがコントロール下の186,527のイメージにもたらすものを測定します。 属性ランキングが存在するかどうかは、検出器が画像に反応するかどうかに依存する。
  論文  参考訳（メタデータ） (2026-07-31T16:07:05Z)
• HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers [30.02579334273979]
  GPTZeroは、NeurIPS 2025の受け入れられたセットの中で、幻覚的な引用を持つ53の論文を発見した。 検証結果を比較し、詳細な故障診断を行うベンチマークは存在しない。 幻覚ベンチマーク: 14のタイプにまたがる2,526のBibエントリ、3つの困難層、エントリ毎に6つの診断サブテスト。
  論文  参考訳（メタデータ） (2026-07-20T13:21:27Z)
• Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews [37.684628465527545]
  我々は、Kahnemanの二重プロセス理論をピアレビューとリリースのための構造化ルーリックとして運用する。 評価基準は3,563で、理論的に動機付けられた9つのテキスト次元、8つのバイアス診断、連続的推論品質スコアで評価された。
  論文  参考訳（メタデータ） (2026-07-12T00:03:42Z)
• Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map [0.676855875213031]
  我々は2つの安価な内部信号、基準アンコール型アクティベーションリフレクションギャップと、基準-候補重み差の重み回復エネルギーをしきい値のないチェックポイント監査に組み合わせた。 Qwen、DeepSeekで蒸留されたQwen、Llama、Gemmaにまたがる273のチェックポイントレジストリ上で、当社のz-sumは、37の良質なファイントゥーン、マージ、命令テューンから57の公的な省略をAUROC 0.95で分離しています。 監査は効果的なトリアージであり、改ざんを防ぎません。それは証明されていない参照を仮定し、そのクレームは評価したレジストリによって境界づけられます。
  論文  参考訳（メタデータ） (2026-07-02T08:15:25Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• INSURE-Dial: A Phase-Aware Conversational Dataset & Benchmark for Compliance Verification and Phase Detection [40.157413213893165]
  年間約1兆米ドルの電話が米国の医療から排水されている。 我々は、コンプライアンス対応音声エージェントの開発と評価のための最初の公開ベンチマークであるINSURE-Dialを紹介する。
  論文  参考訳（メタデータ） (2026-01-28T17:27:49Z)
• The Decisive Power of Indecision: Low-Variance Risk-Limiting Audits and Election Contestation via Marginal Mark Recording [51.82772358241505]
  リスクリミット監査(リスクリミット監査、RLA)は、大規模な選挙の結果を検証する技術である。 我々は、効率を改善し、統計力の進歩を提供する監査の新たなファミリーを定めている。 新しい監査は、複数の可能なマーク解釈を宣言できるように、キャストボイトレコードの標準概念を再考することで実現される。
  論文  参考訳（メタデータ） (2024-02-09T16:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。