論文の概要: Untangling the Mechanisms of Misleading Context in Medical Question Answering
- arxiv url: http://arxiv.org/abs/2609.02754v1
- Date: Wed, 02 Sep 2026 15:55:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.460658
- Title: Untangling the Mechanisms of Misleading Context in Medical Question Answering
- Title（参考訳）: 医療質問応答における誤解のメカニズムの解明
- Abstract要約: 大規模な言語モデルは、専門家レベルのパフォーマンスで医療的な質問に答える。
本研究は, 文脈に対するモデルの有効性, 情報の開示, 腐敗した推論のメカニズム, 意思決定の監視可能性について検討する。
- 参考スコア（独自算出の注目度）: 3.6576251307216783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models now answer medical questions with expert-level performance. However, the context these systems act on can be misleading, and misleading context can corrupt a model's medical judgment. To understand how misleading context corrupts this judgment, we examine the model's susceptibility to the context, disclosure of it, mechanism of corrupted reasoning, and monitorability of the decision. On the medical reasoning subset of MedMisBench, a clinician-reviewed question-answering benchmark of 8,627 questions, we inject two types of misleading context cues, fabricated evidence and a bare assertion. We test three reasoning models, two that expose their full reasoning trace and one frontier model that exposes only its response. All three are more susceptible to the assertion than to the fabricated evidence, adopting the asserted answer 10 to 27 points more often. The misleading cues are disclosed in 81 to 98% of traces but only 7 to 90% of responses, and the assertion is disclosed less often than evidence based cues. Resampling from reasoning traces without disclosure shows the two cues corrupt reasoning differently, evidence entering early and accumulating while the assertion redirects the conclusion near its end. An LLM monitor catches 78% of corrupted decisions at 5% false positives when reading an open model's trace with guidance, against at most 32% from any response. The misleading context that models are most susceptible to is disclosed least, and was caught reliably only from an open reasoning trace, which frontier providers withhold.
- Abstract（参考訳）: 大規模な言語モデルは、専門家レベルのパフォーマンスで医療的な質問に答える。
しかし、これらのシステムが行うコンテキストは誤解を招く可能性があり、誤解を招くコンテキストはモデルの医学的判断を損なう可能性がある。
この判断がいかに誤解を招くかを理解するために、モデルが文脈に対する感受性、それの開示、破損した推論のメカニズム、決定の監視可能性について検討する。
臨床レビューによる8,627問の質問回答ベンチマークであるMedMisBenchの医学的推論サブセットについて,2種類の誤解を招くコンテキストキュー,偽の証拠,素の主張を注入する。
我々は3つの推論モデル、その完全な推論トレースを公開する2つのモデルと、その応答のみを公開する1つのフロンティアモデルをテストする。
3つとも、偽造された証拠よりも主張に敏感であり、主張された答えを10から27点に頻繁に採用する。
誤解を招く手がかりはトレースの81～98%で開示されるが、応答の7～90%しか公開されておらず、証拠に基づく手がかりよりも頻繁に開示される。
情報開示のない推論の痕跡から再サンプリングすると、2つの手がかりが異なる推論を下し、証拠が早期に入り、蓄積され、アサーションは結論の終わり近くをリダイレクトすることを示している。
LLMモニターは、オープンモデルのトレースをガイダンスで読み取る際に、5%の偽陽性で破損した決定の78%をキャッチします。
モデルが最も影響を受けやすいという誤解を招く状況は、少なくとも明らかにされ、フロンティアプロバイダが控えているオープンな推論トレースからのみ確実に捉えられた。
関連論文リスト
- Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents [56.93800079330285]
既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。
我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。
その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
論文 参考訳（メタデータ） (2026-09-10T08:41:07Z) - FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect [69.8983512616053]
大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。
これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。
FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
論文 参考訳（メタデータ） (2026-09-07T12:56:44Z) - Why LLMs Give In: Conversational Factors and Reasoning Behind Medical Sycophancy [8.386215461053723]
ユーザプッシュバックの下で正しい医療回答を放棄する言語モデルは、単に間違っていたものよりも危険です。
本研究は, 言語モデルにおいて, 4つの対話的要因にまたがる完全に交差した因子的設計を用いて, 医用サイコファシーについて検討した。
論文 参考訳（メタデータ） (2026-08-02T05:49:25Z) - Reasoning Traces Shape Outputs but Models Won't Say So [11.928107300132062]
我々は、モデル思考に合成推論スニペットを注入するThought Injectionを紹介した。
インジェクションされたヒントは出力を確実に変更し、推論が因果的なモデル挙動を辿ることを確認する。
変更した回答を説明するように頼まれると、モデルは圧倒的に影響を明らかにしません。
論文 参考訳（メタデータ） (2026-03-21T03:31:36Z) - Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning [0.0]
我々は,広く使用されている3つの大規模言語モデルの中で,医学的推論における忠実度を体系的に評価する。
CoT推論のステップは、しばしば予測を因果的に駆動せず、モデルは、認識せずに容易に外部ヒントを組み込む。
論文 参考訳（メタデータ） (2026-03-14T15:30:53Z) - The Facade of Truth: Uncovering and Mitigating LLM Susceptibility to Deceptive Evidence [49.94160400740222]
MisBeliefは、協調的な多ラウンドの相互作用によって誤解を招く証拠を生成するフレームワークである。
MisBeliefを用いて、3つの難易度で4,800のインスタンスを生成し、7つの代表的なLCMを評価する。
結果は、モデルは直接的な誤報に対して堅牢であるが、この洗練された証拠に非常に敏感であることを示している。
本稿では,疑似意図を証拠裏で推測することにより早期警告信号を提供するガバナンス機構である,認知的意図遮蔽(DIS)を提案する。
論文 参考訳（メタデータ） (2026-01-09T02:28:00Z) - CRAwDAD: Causal Reasoning Augmentation with Dual-Agent Debate [3.2852123901391077]
我々は因果推論のための二重エージェント議論フレームワークを開発する。
エージェントは互いに説得し合い、互いの論理に挑戦します。
我々は、強力なモデルが依然として弱いエージェントとの議論から大きな恩恵を受けることを示している。
論文 参考訳（メタデータ） (2025-11-28T03:19:35Z) - Critical or Compliant? The Double-Edged Sword of Reasoning in Chain-of-Thought Explanations [60.27156500679296]
系統的な推論連鎖の摂動とデリバリートーンの操作による道徳シナリオにおけるCoT(Chain-of-Thought)の説明の役割について検討した。
1) 利用者は, 根拠に欠陥がある場合でも, 信頼感を保ち, 結果合意を信頼する傾向がみられた。
これらの結果は、CoTの説明が同時に明確化と誤解を招き、視覚的信頼よりも精査と批判的思考を奨励する説明を提供するNLPシステムの必要性を強調している。
論文 参考訳（メタデータ） (2025-11-15T02:38:49Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z) - MOSSBench: Is Your Multimodal Language Model Oversensitive to Safe Queries? [70.77691645678804]
人間は認知の歪みに傾向があり、特定の刺激に対する過大な反応を引き起こす偏見のある思考パターンがある。
本稿では,高度マルチモーダル言語モデル (MLLM) が同様の傾向を示すことを示す。
既存のMLLMの過敏性を引き起こす3種類の刺激を同定する。
論文 参考訳（メタデータ） (2024-06-22T23:26:07Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:11:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。