論文の概要: LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data

• arxiv url: http://arxiv.org/abs/2606.19509v1
• Date: Wed, 17 Jun 2026 18:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.491307
• Title: LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data
• Title（参考訳）: LLMは、それが知らないことを知らない: 臨床的タブラルデータにおけるクロスモデル属性の多様性による、てんかん性盲点の検出
• Authors: Akshat Dasula, Prasanna Desikan, Jaideep Srivastava,
• Abstract要約: 大規模言語モデル(LLM)は、構造化された臨床データにますます適用される。 Qwen 2.5 7B と XGBoost を比較する。
• 参考スコア（独自算出の注目度）: 2.1443570696048906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly applied to structured clinical data, yet whether they can recognize the limits of their own knowledge on such tasks remains unexplored. We study this question through the lens of cross-model attribution divergence with the goal of reducing epistemic uncertainty for structured tasks, comparing Qwen 2.5 7B and XGBoost on a prediction task via attribution divergence analysis. We report four findings. First, LLM verbalized confidence is epistemically vacuous, it outputs a near-constant (0.856-0.937) regardless of whether accuracy is 49% or 75.3%, tracking prompt format rather than prediction quality. Second, the LLM exhibits an inverse difficulty effect: accuracy drops to 64.8% when XGBoost is 99% correct, but matches XGBoost (73.8% vs. 73.1%) when it is moderately uncertain. Third, few-shot examples and SHAP-derived feature evidence are orthogonal, super-additive interventions: they reduce the Attribution Disagreement Score (ADS) from 1.54 to 0.38 and improve accuracy from 49% to 75.3% without training. Fourth, a cross-model calibrator that determined LLM reliability using attribution divergence signals reduces expected calibration error from 0.254 to 0.080, replacing uninformative verbalized confidence with patient-specific reliability estimates, without accessing model internals or requiring repeated inference. We frame these findings as a cold start problem for LLMs on structured data and outline a path toward genuine epistemic self-awareness.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、構造化された臨床データにますます適用されているが、そのようなタスクに関する自身の知識の限界を認識できるかどうかはまだ不明である。 本研究では,Qwen 2.5 7B と XGBoost を帰属分岐解析による予測課題で比較し,構造的タスクに対する認識の不確実性を低減することを目的として,クロスモデル帰属分岐のレンズを用いて検討する。 我々は4つの発見を報告した。 まず、LLMは49%か75.3%かに関わらずほぼ一定(0.856-0.937)を出力し、予測品質よりもプロンプトフォーマットを追跡する。 第2に、LSMは逆の難易度を示す: XGBoostが99%の精度で64.8%まで低下するが、XGBoost(73.8%対73.1%)と適度に不確定な精度で一致する。 第3に、少数ショットの例とSHAPに由来する特徴証拠は直交的な超付加的な介入であり、ADS(Atribution Disagreement Score)を1.54から0.38に減らし、トレーニングなしで精度を49%から75.3%に改善する。 第4に、帰属発散信号を用いたLCM信頼性を判定するクロスモデル校正器は、予測校正誤差を0.254から0.080に低減し、モデル内部へのアクセスや繰り返し推論を必要とせず、非形式的言語的信頼度を患者固有の信頼性推定に置き換える。 これらの知見を構造化データに基づくLCMのコールドスタート問題として捉え,真性てんかん自己認識への道筋を概説した。

関連論文リスト

• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• VNDUQE: Information-Theoretic Novelty Detection using Deep Variational Information Bottleneck [4.618615226841302]
  深部変分情報ボトルネック(VIB)による新規性検出の検討 我々は,MNIST 上の VIB モデルを保持桁クラスで学習し,情報理論の指標である KL の発散と予測エントロピーを用いて OOD 検出を評価する。
  論文  参考訳（メタデータ） (2026-05-12T05:31:44Z)
• Predictive Entropy Links Calibration and Paraphrase Sensitivity in Medical Vision-Language Models [2.064612766965483]
  我々は,MedGemma 4BITの分布MIMIC CXRと外分布PadChest chest X ray データセットの5つの不確実性定量化手法を示し,LLaVA RAD7Bのクロスアーキテクチャ検証を行った。 うまく校正された単一モデル法では、一方のフォワードパスからの予測エントロピーは、メドジェマのAUROC 0.711、LLaVARAD p 10 4の0.878、信頼できないと敏感な予測の両方を1つのエントロピーしきい値でフラグ付けることができる。
  論文  参考訳（メタデータ） (2026-04-10T04:18:47Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations [2.7946918847372277]
  大規模言語モデルは、数学的推論ベンチマークにおいて強い性能を示すが、意味を保存する表面摂動に対して驚くほど脆弱である。 我々は677 GSM8K問題に対して,3つのオープンウェイトLLM(Mistral-7B,Llama-3-8B,Qwen2.5-7B)を意味論的に等価な変種と組み合わせて評価した。 3つのモデルはいずれも相当な解答フリップ率(28.8%-45.1%)を示し、数字のパラフレーズは名前スワップよりも一貫して破壊的である。
  論文  参考訳（メタデータ） (2026-04-02T05:30:20Z)
• Explainable Admission-Level Predictive Modeling for Prolonged Hospital Stay in Elderly Populations: Challenges in Low- and Middle-Income Countries [65.4286079244589]
  長期滞在期間 (pLoS) は, 院内感染のリスクに関連する重要な要因である。 入院レベルの患者と病院の診療データを用いて, pLosの予測モデルを開発し, 解説する。
  論文  参考訳（メタデータ） (2026-01-07T23:35:24Z)
• Predicting LLM Correctness in Prosthodontics Using Metadata and Hallucination Signals [4.680384065487852]
  大規模言語モデル (LLM) は、医療や医学教育などの高度な領域で採用されている。 本研究では, 汎用モデル (GPT-4o) と推論中心モデル (OSS-120B) を多症例補綴学試験で解析し, 正当性予測の可能性を検討した。 以上の結果から, このメタデータベースのアプローチは, 解答の正解を前提として, 最大で+7.14%の精度向上と83.12%の精度向上を達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-12-27T07:51:50Z)
• Agent-Based Uncertainty Awareness Improves Automated Radiology Report Labeling with an Open-Source Large Language Model [1.7064514726335305]
  クローン病患者のヘブライ語9,683例について検討した。 我々は不確実性を認識したプロンプトアンサンブルとエージェントに基づく決定モデルを導入した。
  論文  参考訳（メタデータ） (2025-02-02T16:57:03Z)
• Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
  マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。 12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
  論文  参考訳（メタデータ） (2024-11-05T01:11:28Z)
• LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
  探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。 バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
  論文  参考訳（メタデータ） (2024-10-27T16:23:26Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。