論文の概要: Hallucination Neurons and Where to Find Them: An Investigation into the existence of Hallucination Neurons

• arxiv url: http://arxiv.org/abs/2609.29781v1
• Date: Thu, 24 Sep 2026 13:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.9526
• Title: Hallucination Neurons and Where to Find Them: An Investigation into the existence of Hallucination Neurons
• Title（参考訳）: 幻覚ニューロンと発見の場所:幻覚ニューロンの存在に関する調査
• Abstract要約: 本稿では,特徴相関,ブートストラップ安定性,スパース対密ランキングの不一致,介入ベースライン,データセット間評価を含む5段階の診断プロトコルを提案する。 この結果から, モデルとデータセットの双方で検出された複製が, 元のAUROCギャップを越えていることがわかった。 本研究は, 異常な予測構造が非特異性ニューロン選択と共存できることを示唆する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpretable machine learning for Large Language Models (LLMs) increasingly relies on sparse probing methods that identify small sets of neurons claimed to detect and causally influence behaviors such as factuality recall, safety alignment, and hallucination. These claims have important implications for model auditing and behavioral steering, yet they are rarely tested against known failure modes of $L_1$-regularized probing in correlated, high-dimensional feature spaces. We propose a five-step diagnostic protocol covering feature correlation, bootstrap stability, sparse versus dense ranking disagreement, intervention baselines, and cross-dataset evaluation as a minimum standard for sparse-neuron localization claims. We investigate prior work using our proposed approach, specifically on H-neurons using open-source LLMs across TriviaQA, BioASQ, and NQ-Open datasets. Our results demonstrate detection replicates across both models and datasets, and exceeds the original reported AUROC gaps for TriviaQA and BioASQ datasets. Gemma 3 4B consistently outperforms MedGemma 4B on matched datasets, with AUROC gaps of +0.311 versus +0.235 on TriviaQA, +0.474 versus +0.455 on BioASQ, and +0.128 versus +0.112 on NQ-Open respectively. Causal validation at $n = 500$ with five random seeds shows statistically significant effects beyond random same-layer baselines. At the same time, the diagnostic results indicate that the selected neurons are not uniquely localized. Across the three Gemma 3 4B settings, 19 of 22 selected H-Neurons have Pearson $|r| > 0.7$ with other features, bootstrap selections show only moderate stability, and sparse and dense rankings overlap only weakly. Our findings show that sparse predictive structure can coexist with non-unique neuron selection. Routine diagnostic validation is necessary to distinguish detection claims from localization claims in mechanistic interpretability.
• Abstract（参考訳）: LLM(Large Language Models)の解釈可能な機械学習は、事実のリコール、安全性のアライメント、幻覚といった行動を検出し、因果的に影響を及ぼすと主張されるニューロンの小さな集合を識別するスパース探索手法にますます依存している。 これらの主張は、モデル監査と行動ステアリングに重要な意味を持つが、相関した高次元の特徴空間における、$L_1$-regularized probingの既知の障害モードに対してテストされることは滅多にない。 本稿では,スパルス・ニューロロン・ローカライゼーション・クレームの最小基準として,特徴相関,ブートストラップ安定性,スパースと密接なランキングの不一致,介入ベースライン,およびデータセット間評価を含む5段階の診断プロトコルを提案する。 本稿では,提案手法,特にTriviaQA,BioASQ,NQ-OpenデータセットにまたがるオープンソースLLMを用いたH-neuronsを用いた先行研究について検討する。 以上の結果から,TriviaQAデータセットとBioASQデータセットのAUROCギャップを越えながら,モデルとデータセットの双方で検出された複製を実証した。 Gemma 3 4B はマッチしたデータセットで MedGemma 4B を上回っ、AUROC の TriviaQA では +0.311 対 +0.235、BioASQ では +0.474 対 +0.455、NQ-Open では +0.128 対 +0.112 である。 5つのランダムシードを持つ$n = 500$の因果検証は、ランダムな同層基底線を超える統計的に有意な効果を示す。 同時に、診断結果は、選択されたニューロンが一意に局在していないことを示している。 3つのGemma 3 4B設定の中で、22個のH-Neuronsのうち19個のH-Neuronsは、Pearson $|r| > 0.7$の他の特徴を持つ。 本研究は, 異常な予測構造が非特異性ニューロン選択と共存できることを示唆する。 機械的解釈可能性において、検出クレームと局所化クレームとを区別するためには、定期的な診断検証が必要である。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [69.06648810271712]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• A Few Neurons Reveal When LLMs Misuse Tools: Sparse Detection and Selective Steering for Reliable Tool Use [28.57781785937644]
  PRISMS(Probing Representations In Support of Monitoring and Steering)は,スパース検出とアクティベーションの間に障害特異的ニューロンベースを共有するクローズループフレームワークである。 6つのモデル全体で、PRISMSはプールされたオーバーコール率を80%削減し、ツール要求の精度を14.2%向上させた。
  論文  参考訳（メタデータ） (2026-07-31T19:03:44Z)
• Readable but Not Controllable: Neuron-Level Evidence for Medical LLM Hallucination [2.123088044860656]
  単純で慎重に調整されたプローブで幻覚を確実に検出できることが示される。 また、この信号は狭義に局所化するのではなく、分散され冗長であることを示す。 幻覚の緩和は、単に正しいニューロンを識別する問題ではないことを示唆する。
  論文  参考訳（メタデータ） (2026-06-30T20:34:45Z)
• NeuroFlake: A Neuro-Symbolic LLM Framework for Flaky Test Classification [0.0]
  同じバージョンのコードに対して非決定論的パス/フェイル動作を示す、不安定なテストは、信頼できる回帰テストに重大な課題を生じさせる。 我々は,現実世界のデータセット上でフレキテストの分類を行う新しいニューロ・シンボリック・フレームワークであるNeuroFlakeを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T03:56:40Z)
• A Few Bad Neurons: Isolating and Surgically Correcting Sycophancy [7.405817106579332]
  大規模言語モデルの振る舞いアライメントは、広範囲の微調整によって達成されることが多い。 本研究では,特定の行動に最も責任があるニューロンのみを特定し,更新するアライメント手法を提案する。 以上の結果から,スパークでニューロンレベルの更新は,フルモデルファインチューニングに代わる,スケーラブルで高精度な代替手段であることがわかった。
  論文  参考訳（メタデータ） (2026-01-26T20:20:13Z)
• Microelectrode Signal Dynamics as Biomarkers of Subthalamic Nucleus Entry on Deep Brain Stimulation: A Nonlinear Feature Approach [0.0]
  本稿では、非線形力学とエントロピーに基づくメトリクスを利用して、STN内外から記録された神経活動の分類を行うフレームワークを提案する。 本研究は,DBS手術中におけるリアルタイム・データ駆動意思決定支援における非線形・エントロピー信号記述子の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-06-14T23:23:26Z)
• Brain Tumor Classification on MRI in Light of Molecular Markers [56.99710477905796]
  1p/19q遺伝子の同時欠失は、低グレードグリオーマの臨床成績と関連している。 本研究の目的は,MRIを用いた畳み込みニューラルネットワークを脳がん検出に活用することである。
  論文  参考訳（メタデータ） (2024-09-29T07:04:26Z)
• MSED: a multi-modal sleep event detection model for clinical sleep analysis [62.997667081978825]
  ポリソムノグラムで睡眠イベントを共同検出する,単一のディープニューラルネットワークアーキテクチャを設計した。 モデルの性能は,F1,精度,リコールスコア,および指標値と臨床値との相関で定量化した。
  論文  参考訳（メタデータ） (2021-01-07T13:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。