論文の概要: Faithful Explanations under Missing Modalities in Multimodal Dementia Prognosis
- arxiv url: http://arxiv.org/abs/2610.35430v1
- Date: Mon, 26 Oct 2026 13:34:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:14.013025
- Title: Faithful Explanations under Missing Modalities in Multimodal Dementia Prognosis
- Title(参考訳): マルチモーダル認知症予後におけるモダリティの欠如による忠実な説明
- Abstract要約: 大規模言語モデルは、多モーダルな予後モデルの特徴属性を臨床医の物語に変えるために、ますます使われてきている。
しかし、アミロイドPETや脳脊髄液バイオマーカーのような高価なモダリティは欠落しており、これらの説明が欠落した証拠の下で忠実に保たれているかどうかはまだ検証されていない。
アルツハイマー病神経画像イニシアチブの参加者307名を対象に,4つの費用対効果の全てのサブセットをマスキングし,軽度認知障害からアルツハイマー病への36ヶ月の転換を予測し,マスク付きデータを復元した。
全5つの欠落データ戦略は、未観測のモダリティに対する属性の12%から23%を割り当て、最大45%を4つに割り当てた。
- 参考スコア(独自算出の注目度): 1.8437122005137934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used to turn the feature attributions of multimodal prognostic models into narratives for clinicians, yet costly modalities such as amyloid PET and cerebrospinal fluid biomarkers are often missing, and whether these explanations stay faithful under missing evidence has not been tested. We separate two failure points: phantom attribution, in which the model credits modalities that were never observed, and unfaithful narration, in which the report omits, cites or misjudges missing modalities. Using 307 participants of the Alzheimer's Disease Neuroimaging Initiative with complete data, we masked every subset of four costly modalities, predicted 36-month conversion from mild cognitive impairment to Alzheimer's disease, and restored the masked data to obtain interventional ground truth. All five missing-data strategies assigned 12% to 23% of attribution to unobserved modalities, and up to 45% with four absent; missingness-aware strategies minimised it at no cost in accuracy. Across 51,200 reports from four language models and four prompting regimes, naming absent modalities in the prompt raised acknowledgement from 48% to 88% and cut phantom evidence twenty-fold, but advice on whether acquiring a missing test would change the prediction was correct in only 27% to 41% of cases until checked against executed restorations, which raised accuracy to 69% for open-weight narrators and 99.9% for a proprietary model. Higher phantom attribution was associated with more phantom evidence and fewer faithful direction claims, and direction fidelity, measured by a calibrated language-model judge, depended on narrator scale rather than prompting. Narrators told to name absent modalities sometimes declared observed ones absent, an error that a structured template eliminated. We release the masking protocol and evaluation code.
- Abstract(参考訳): アミロイドPETや脳脊髄液生マーカーのような高価なモダリティが欠落していることが多く、これらの説明が欠落した証拠に忠実に残されているかどうかが検証されていない。
ファントム帰属(phantom attribution, モデルが観測されなかったモダリティを信用する)と、レポートが欠落モダリティを省略、引用または誤判断する不誠実なナレーション(unfithful narration)という2つの障害ポイントを分けます。
アルツハイマー病神経画像イニシアチブの参加者307名を対象に,4つの費用対効果の全てのサブセットをマスキングし,軽度認知障害からアルツハイマー病への36ヶ月の転換を予測し,マスク付きデータを復元し,介入的根拠の真理を得た。
5つの欠落データ戦略はすべて、観測されていないモダリティに対する属性の12%から23%を割り当て、4つの欠落に対して最大45%を割り当てた。
4つの言語モデルと4つのプロンプト体制から報告された51,200件の報告では、即時修正の欠如が48%から88%に上昇し、幻の証拠を20倍に削減したが、不足テストの取得が予測を変えるかどうかについてのアドバイスは27%から41%に留まり、実行中の修復に対するチェックでは精度が69%、プロプライエタリモデルでは99.9%に向上した。
高い幻の帰属は、より幻の証拠と、より忠実な方向の主張と、校正された言語モデル審査官によって測定された方向の忠実さに結びついており、促進ではなくナレーター尺度に依存していた。
ナレーターは、欠落したモダリティに名前を付けると、時に観察されたモダリティが欠落していると宣言し、構造化されたテンプレートが削除されたという誤りを犯した。
我々はマスキングプロトコルと評価コードをリリースする。
関連論文リスト
- Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳(メタデータ) (2026-09-24T19:04:23Z) - Persuaded, Not Informed: Incentive-Misaligned Witnesses Defeat In-Context Grounding [0.0]
より強力なモデルで対処されていない障害モードを特定します。
文脈が楽観主義へのインセンティブを持つ当事者による主張を含む場合、モデルはこの主張を証拠として扱い、明確化は会社の記録を容認できないとみなす。
論文 参考訳(メタデータ) (2026-09-23T23:52:24Z) - Four Ledgers, Not One Score: Responsible Communication of LLM-Judge Calibration in Biomedical ML [0.39287497907611874]
我々は、4つの異なる台帳を定式化した:植込み摂動、独立した検出器出力、ソースリンクヒトの沈着、および人為的な発見。
この単一ワークフローの法医学的ケースは、失敗モードの存在証明であり、その頻度を見積もるものではない。
論文 参考訳(メタデータ) (2026-09-14T04:27:58Z) - When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models [2.064612766965483]
MedMCQA(4,183質問)とPubMedQA(1,000質問)でMedGemma(4Bおよび27Bパラメータ)を評価する。
実験の結果,いくつかの知見が得られた。
論文 参考訳(メタデータ) (2026-03-26T23:04:20Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳(メタデータ) (2025-08-28T04:13:51Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2025-03-06T15:36:06Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳(メタデータ) (2025-02-26T02:30:44Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳(メタデータ) (2024-11-05T01:11:28Z) - Exploring Multimodal Large Language Models for Radiology Report
Error-checking [1.7217842380976978]
本稿では, 放射線技師が報告の誤りを確認するための補助として, マルチモーダル大言語モデル (LLMs) を用いた最初の臨床応用の1つを提案する。
我々は、実世界の放射線学データセット(X線とCTスキャンを含む)から評価データセットを作成しました。
SIMPLEレベルでは,MIMIC-CXRとIU X線データでそれぞれ47.4%,25.4%向上した。
論文 参考訳(メタデータ) (2023-12-20T15:20:33Z) - A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of
LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。
生成過程における幻覚を積極的に検出・緩和する手法を提案する。
提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文 参考訳(メタデータ) (2023-07-08T14:25:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。