論文の概要: MoRFI: Monotonic Sparse Autoencoder Feature Identification

• arxiv url: http://arxiv.org/abs/2604.26866v1
• Date: Wed, 29 Apr 2026 16:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.492973
• Title: MoRFI: Monotonic Sparse Autoencoder Feature Identification
• Title（参考訳）: MoRFI:モノトニックスパースオートエンコーダの特徴同定
• Abstract要約: 大規模言語モデル(LLM)は、訓練前の段階で、次のトークン予測を通じて、実際の知識のほとんどを取得する。 その後の訓練の段階は、しばしばパラメトリック知識よりも新しい事実を導入し、幻覚を引き起こす。 閉書QAに焦点をあてて制御された微調整実験を行い,幻覚に因果的に寄与する潜在方向を見出す。
• 参考スコア（独自算出の注目度）: 27.973959474864127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) acquire most of their factual knowledge during the pre-training stage, through next token prediction. Subsequent stages of post-training often introduce new facts outwith the parametric knowledge, giving rise to hallucinations. While it has been demonstrated that supervised fine-tuning (SFT) on new knowledge may exacerbate the problem, the underlying mechanisms are still poorly understood. We conduct a controlled fine-tuning experiment, focusing on closed-book QA, and find latent directions that causally contribute to hallucinations. Specifically, we fine-tune Llama 3.1 8B, Gemma 2 9B and Mistral 7B v03 on seven distinct single QA datasets, controlling for the percentage of new knowledge and number of training epochs. By measuring performance on the test set, we validate that incrementally introducing new knowledge increases hallucinations, with the effect being more pronounced with prolonged training. We leverage pre-trained sparse autoencoders (SAEs) to analyze residual stream activations across various checkpoints for each model and propose Monotonic Relationship Feature Identification (MoRFI) for capturing causally relevant latents. MoRFI filters SAE features that respond monotonically to controlled fine-tuning data mixtures of a target property. Our findings show that exposure to unknown facts disrupts the model's ability to retrieve stored knowledge along a set of directions in the residual stream. Our pipeline reliably discovers them across distinct models, recovering knowledge through single-latent interventions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、訓練前の段階で、次のトークン予測を通じて、実際の知識のほとんどを取得する。 その後の訓練の段階は、しばしばパラメトリック知識よりも新しい事実を導入し、幻覚を引き起こす。 新たな知識に対する教師付き微調整(SFT)が問題を悪化させることは実証されているが、根底にあるメカニズムはいまだに理解されていない。 閉書QAに焦点をあてて制御された微調整実験を行い,幻覚に因果的に寄与する潜在方向を見出す。 具体的には、7つの異なるQAデータセット上でLlama 3.1 8B、Gemma 2 9B、Mistral 7B v03を微調整し、新しい知識のパーセンテージとトレーニングエポックの数を制御する。 テストセットのパフォーマンスを計測することにより,新たな知識の導入によって幻覚が増加し,その効果が長期トレーニングでより顕著になることを確認した。 我々は,事前学習されたスパースオートエンコーダ(SAE)を利用して,各モデルに対する各種チェックポイント間の残ストリームアクティベーションを分析し,因果関係の潜伏者を捕捉するためのモノトニック関係特徴同定(MoRFI)を提案する。 MoRFIは、ターゲットプロパティの制御された微調整データ混合に単調に応答するSAE機能をフィルタリングする。 実験の結果,未知の事実に曝露すると,残流の一連の方向に沿って記憶された知識を復元する能力が阻害されることが判明した。 私たちのパイプラインは、異なるモデルにまたがってそれらを確実に発見し、単一レイテンシの介入を通じて知識を回復します。

関連論文リスト

• Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling [21.14539989233461]
  知識--'Less''' Language Models (KLLMs) KLLMは、名前付きエンティティが匿名化されたコーパスで事前訓練される。 我々は,KLLMがパラメトリック知識に頼らず,外部証拠に頼らず,現実的な条件下での信頼性の向上につながることを示した。
  論文  参考訳（メタデータ） (2026-07-14T14:48:53Z)
• TRE: Training-Free Hallucination Detection for Diffusion Language Models [9.622962795441852]
  本稿では,D-LLMのための訓練不要幻覚検出尺度であるTREを提案する。 TREは1世代のエントロピー信号から直接幻覚リスクを推定する。 複数のD-LLMとQAデータセットに対する大規模な実験は、TREが強力な一般化可能性、効率、堅牢性を享受しながら、競争性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-29T00:47:48Z)
• Measuring the Impact of Lexical Training Data Coverage on Hallucination Detection in Large Language Models [26.89705770151822]
  大規模言語モデル(LLM)における幻覚は、特にオープンドメインの質問応答において、根本的な課題である。 これまでの研究は、トークンレベルのエントロピーや生成一貫性といったモデル内部信号による幻覚の検出を試みた。 本研究では,データカバレッジ自体が検出信号として機能するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-22T06:59:55Z)
• Detecting Token-Level Hallucinations Using Variance Signals: A Reference-Free Approach [0.0]
  大規模言語モデル(LLM)は、様々なタスクにまたがる印象的な生成能力を示したが、幻覚に弱いままである。 複数世代にわたるトークンログ確率のばらつきを利用した,参照不要なトークンレベルの幻覚検出フレームワークを提案する。 我々のアプローチは、モデルに依存しず、解釈可能であり、リアルタイムまたはポストホック分析に適している。
  論文  参考訳（メタデータ） (2025-07-05T19:20:59Z)
• Are LLMs Really Not Knowledgable? Mining the Submerged Knowledge in LLMs' Memory [15.986679553468989]
  大規模言語モデル(LLM)は潜在的な知識基盤として有望であることを示している。 LLMは質問応答タスクに苦しむことが多く、幻覚を起こす傾向がある。 我々は,検出されたが表現されていない知識を活用することで,解答精度を向上させる手法であるSkipUnsureを開発した。
  論文  参考訳（メタデータ） (2024-12-30T10:29:18Z)
• Hallucination Detox: Sensitivity Dropout (SenD) for Large Language Model Training [17.347067827911406]
  トレーニングダイナミクスの不確かさと幻覚の出現との関係について検討する。 本稿では,学習中の幻覚のばらつきを軽減するための新しいトレーニングプロトコルであるSensitivity Dropout (SenD)を提案する。 SenDは、PythiaとMetaのLlamaモデルのテスト時の信頼性を最大17%向上し、Wikipedia、メディカル、法律、コーディングドメインの事実精度を向上させる。
  論文  参考訳（メタデータ） (2024-10-20T18:18:23Z)
• Exploring Diffusion Time-steps for Unsupervised Representation Learning [72.43246871893936]
  拡散時間ステップと隠れ属性を結合する理論的枠組みを構築する。 CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は分類を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-21T08:35:25Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
  本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。 種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。 共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
  論文  参考訳（メタデータ） (2020-10-01T17:51:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。