論文の概要: LANCET: Neural Intervention via Structural Entropy for Mitigating Faithfulness Hallucinations in LLMs
- arxiv url: http://arxiv.org/abs/2601.01401v1
- Date: Sun, 04 Jan 2026 06:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:22.32074
- Title: LANCET: Neural Intervention via Structural Entropy for Mitigating Faithfulness Hallucinations in LLMs
- Title（参考訳）: LANCET:LLMにおける忠実幻覚の緩和のための構造エントロピーによる神経介入
- Authors: Chenxu Wang, Chaozhuo Li, Pengbo Wang, Litian Zhang, Songyang Liu, Ji Qi, Jiahui Hu, Yushan Cai, Hao Zhao, Rui Pu,
- Abstract要約: 大規模言語モデルは情報処理に革命をもたらしたが、その信頼性は忠実な幻覚によって著しく損なわれている。
構造エントロピーと幻覚の差分比を活用することによって、正確な神経介入を実現する新しいフレームワークであるLancetを提案する。
- 参考スコア（独自算出の注目度）: 23.96862009891609
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models have revolutionized information processing, yet their reliability is severely compromised by faithfulness hallucinations. While current approaches attempt to mitigate this issue through node-level adjustments or coarse suppression, they often overlook the distributed nature of neural information, leading to imprecise interventions. Recognizing that hallucinations propagate through specific forward transmission pathways like an infection, we aim to surgically block this flow using precise structural analysis. To leverage this, we propose Lancet, a novel framework that achieves precise neural intervention by leveraging structural entropy and hallucination difference ratios. Lancet first locates hallucination-prone neurons via gradient-driven contrastive analysis, then maps their propagation pathways by minimizing structural entropy, and finally implements a hierarchical intervention strategy that preserves general model capabilities. Comprehensive evaluations across hallucination benchmark datasets demonstrate that Lancet significantly outperforms state-of-the-art methods, validating the effectiveness of our surgical approach to neural intervention.
- Abstract（参考訳）: 大規模言語モデルは情報処理に革命をもたらしたが、その信頼性は忠実な幻覚によって著しく損なわれている。
現在のアプローチでは、ノードレベルの調整や粗い抑制を通じてこの問題を緩和しようとするが、ニューラルネットワークの分散特性を見落とし、不正確な介入につながることが多い。
感染などの特定の前方伝達経路を介して幻覚が伝播することを認識し,正確な構造解析を用いて,この流れを外科的に阻止することを目的としている。
これを活用するために,構造エントロピーと幻覚差比を利用して,正確な神経介入を実現する新しいフレームワークであるLancetを提案する。
ランセットは最初、勾配駆動のコントラスト解析により幻覚性ニューロンを発見、次いで構造エントロピーを最小化してその伝播経路をマッピングし、最終的に一般的なモデル機能を保持する階層的介入戦略を実行する。
幻覚ベンチマークデータセットの総合的な評価は、ランセットが最先端の手法を著しく上回り、神経介入に対する外科的アプローチの有効性を検証していることを示している。
関連論文リスト
- Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction [65.67001243986981]
我々は,スケールワイド自己回帰モデルに基づく粗大なfMRI画像再構成フレームワークであるMindHierを提案する。
MindHierは、拡散ベースのベースラインよりも優れたセマンティック忠実さ、4.67倍高速な推論、より決定論的結果を達成する。
論文 参考訳（メタデータ） (2025-10-25T15:40:07Z) - A novel hallucination classification framework [0.0]
本研究では,大規模言語モデル(LLM)における幻覚の自動検出手法を提案する。
提案手法は,素早い工学的手法による系統分類と多様な幻覚の再現制御に基づく。
論文 参考訳（メタデータ） (2025-10-06T09:54:20Z) - Sensory robustness through top-down feedback and neural stochasticity in recurrent vision models [0.9188951403098383]
我々は、トップダウンフィードバックプロジェクションの有無のイメージ分類について、畳み込みリカレントニューラルネットワーク(ConvRNN)を訓練した。
トップダウンフィードバックを持つConvRNNは、ノイズの摂動や敵の攻撃に対して、顕著な速度精度のトレードオフと堅牢性を示した。
論文 参考訳（メタデータ） (2025-08-09T22:51:50Z) - ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs [50.18087419133284]
隠れた状態を活用する幻覚検出法は、主に静的および孤立した表現に焦点を当てている。
隠れ状態の更新に対するモジュールの寄与を定量化する新しいメトリック ICR Score を導入する。
本稿では,隠れ状態の層間進化を捉えた幻覚検出手法 ICR Probe を提案する。
論文 参考訳（メタデータ） (2025-07-22T11:44:26Z) - Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。
我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。
本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
論文 参考訳（メタデータ） (2025-07-01T17:54:35Z) - Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。
本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
論文 参考訳（メタデータ） (2025-05-21T13:22:20Z) - KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models [17.435794516702256]
大規模言語モデル(LLM)は自然言語処理(NLP)の開発に大きく進歩している。
モデル幻覚は、複雑な原因のため、自然言語生成(NLG)タスクにおいて依然として大きな課題である。
この研究は、生成モデルにおける特定の幻覚の問題を緩和し、実世界のアプリケーションにおけるその堅牢性と信頼性を高めるための新しいパラダイムを導入する。
論文 参考訳（メタデータ） (2025-03-25T09:18:27Z) - Reducing LLM Hallucinations using Epistemic Neural Networks [0.0]
我々は,Llama-2 7B モデル上に ENN をトレーニングし,コントラストデコード機能拡張技術と組み合わせた。
我々は、次のトークン予測タスクのためにENNをトレーニングし、TruthfulQAデータセットの幻覚を減らすためにこの方法の有効性を探求する。
論文 参考訳（メタデータ） (2023-12-25T01:17:01Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-06T13:10:37Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - GCN for HIN via Implicit Utilization of Attention and Meta-paths [104.24467864133942]
不均一情報ネットワーク(HIN)埋め込みは、HINの構造と意味情報を分散表現にマッピングすることを目的としている。
本稿では,注意とメタパスを暗黙的に活用するニューラルネットワーク手法を提案する。
まず、各層で識別集約を行う多層グラフ畳み込みネットワーク(GCN)フレームワークを用いる。
次に,アグリゲーションから分離可能な新しい伝搬操作を導入することにより,効果的な緩和と改善を行う。
論文 参考訳（メタデータ） (2020-07-06T11:09:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。