論文の概要: Readable but Not Controllable: Neuron-Level Evidence for Medical LLM Hallucination

• arxiv url: http://arxiv.org/abs/2607.00158v1
• Date: Tue, 30 Jun 2026 20:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.632191
• Title: Readable but Not Controllable: Neuron-Level Evidence for Medical LLM Hallucination
• Title（参考訳）: 可読だが制御不能:医学的LLM幻覚のためのニューロンレベル証拠
• Abstract要約: 単純で慎重に調整されたプローブで幻覚を確実に検出できることが示される。 また、この信号は狭義に局所化するのではなく、分散され冗長であることを示す。 幻覚の緩和は、単に正しいニューロンを識別する問題ではないことを示唆する。
• 参考スコア（独自算出の注目度）: 2.123088044860656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination remains one of the central obstacles to deploying medical LLMs. Yet, even when hallucination can be detected, it is still unclear whether the internal representations associated with it can be used for control rather than detection alone. Using four open-source models across a suite of medical question-answering datasets, we show that a simple, carefully conditioned probe can reliably detect hallucination, with AUROC scores between 0.77 and 0.86 in our case. We further show that this signal is distributed and redundant rather than narrowly localized. Systematically selected neurons outperform random neurons only at very small subset sizes, whereas random subsets of a few hundred neurons recover nearly the full signal, and low-dimensional random projections preserve most of the detection performance. Beyond detection, we test whether this representation is causally actionable. Across 16 model--dataset combinations, our results reveal a sharp gap between decodability and controllability. The same internal structure that makes hallucination easy to detect does not translate into reliable neuron-level control. These findings show that medical hallucination seems to be readily visible in internal activations, but not easily corrected by steering the neurons most associated with it. More broadly, our results suggest that hallucination mitigation is not simply a matter of identifying the right neurons, and point to a deeper separation between what representations reveal and what they allow us to change.
• Abstract（参考訳）: 幻覚は医療用LSMの展開における中心的な障害の1つである。 しかし、幻覚が検出できたとしても、それに関連する内部表現が単独で検出するよりも制御に使用できるかどうかは不明である。 AUROCのスコアは0.77点から0.86点までで、単純で慎重に調整されたプローブが幻覚を確実に検出できることを示す。 さらに、この信号は狭義に局所化されるのではなく、分散され冗長であることを示す。 体系的に選択されたニューロンは、非常に小さなサブセットサイズでのみランダムニューロンを上回り、数百個のニューロンのランダムサブセットは、ほぼ完全な信号を回復し、低次元のランダムプロジェクションは、ほとんどの検出性能を保っている。 検出以外にも、この表現が因果的に動作可能かどうかをテストする。 16種類のモデル-データセットの組み合わせで, 以上の結果から, 解離性と制御性の間に大きなギャップがあることが判明した。 幻覚を検知しやすくするのと同じ内部構造は、信頼できるニューロンレベルの制御に変換されない。 これらの結果から, 内的活性化において, 医学的幻覚は容易に見えるが, 関連性の高いニューロンを操ることで容易には修正できないことが示唆された。 より広範に研究結果は、幻覚の緩和は単に正しいニューロンを特定することの問題ではなく、表現が示すものとそれらが変化を許すものの間により深い分離があることを示唆している。

関連論文リスト

• NeuroActiSep: Detecting Factual Hallucinations from Feed-Forward Neurons in a Single Pass [0.17205106391379021]
  より研究の少ないアプローチは、幻覚と相関したフィードフォワードニューロンを特定することである。 本稿では,ニューロン選択データセットを用いて,フィードフォワードニューロンを最終プロンプトトークンにランク付けする手法を提案する。 我々の研究は、選択されたニューロンの特徴を用いて訓練されたプローブが、内部状態に基づいて訓練されたプローブと同等に実行するという経験的な証拠を提供する。
  論文  参考訳（メタデータ） (2026-09-13T11:42:40Z)
• RAGognizer: Hallucination-Aware Fine-Tuning via Detection Head Integration [0.2696472814555309]
  本稿では,検出ヘッドを大規模言語モデルに統合する幻覚認識型微調整手法であるRAGognizerを紹介する。 RAGognizerは、生成時の幻覚率を大幅に低減しつつ、最先端のトークンレベルの幻覚検出を実現する。
  論文  参考訳（メタデータ） (2026-04-17T11:07:32Z)
• Steering the Verifiability of Multimodal AI Hallucinations [115.51077572812862]
  マルチモーダルな大言語モデル(MLLM)は幻覚を起こす傾向があり、人間のユーザーにかなりのリスクをもたらす。 本研究では,覚醒と覚醒のための別々のプローブを学習するアクティベーション空間介入法を提案する。 そこで本研究では,異なる介入プローブを誘発し,モデルの妥当性をきめ細かな制御を可能にすることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-08T06:13:16Z)
• Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
  大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。 損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。 視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。 言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
  論文  参考訳（メタデータ） (2026-03-20T02:07:10Z)
• Towards Interpretable Hallucination Analysis and Mitigation in LVLMs via Contrastive Neuron Steering [60.23509717784518]
  既存の緩和法は主に出力レベルの調整に重点を置いており、幻覚を引き起こす内部メカニズムはほとんど探索されていない。 クリーン入力とノイズ入力のコントラスト解析により画像特異的ニューロンを識別するコントラスト性ニューロンステアリング(CNS)を提案する。 CNSは摂動によって引き起こされる活性化を抑えつつ情報伝達ニューロンを選択的に増幅し、より堅牢でセマンティックな視覚表現を生み出す。
  論文  参考訳（メタデータ） (2026-01-31T09:21:04Z)
• H-Neurons: On the Existence, Impact, and Origin of Hallucination-Associated Neurons in LLMs [56.31565301428888]
  大型言語モデル(LLM)における幻覚関連ニューロン(H-Neurons)の同定 同定の面では、驚くほどスパースなニューロンのサブセットが幻覚の発生を確実に予測できることが示される。 行動への影響に関して、制御された介入は、これらのニューロンが過度に順応する行動と因果関係があることを明らかにする。
  論文  参考訳（メタデータ） (2025-12-01T15:32:14Z)
• Attention Head Embeddings with Trainable Deep Kernels for Hallucination Detection in LLMs [47.18623962083962]
  大規模言語モデルにおける幻覚検出のための新しい手法を提案する。 その結果,幻覚応答は接地応答に比べて刺激からの偏差が小さいことがわかった。 本稿では,分布距離を原理的幻覚スコアとして用いたモデル固有検出法を提案する。
  論文  参考訳（メタデータ） (2025-06-11T15:59:15Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。