論文の概要: Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
- arxiv url: http://arxiv.org/abs/2607.08393v1
- Date: Thu, 09 Jul 2026 12:17:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.521525
- Title: Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
- Title（参考訳）: 覚醒知識が大言語モデルファインタニングにおいて一般化できない理由の機械的理解に向けて
- Abstract要約: 故障をtextittextbf-Knowing-Using Gap として定式化する。
我々は、未知の知識でLLMを微調整し、自己パッチと呼ばれる新しい介入手法を用いて、内部の知識の空間透過動態をモニタリングする。
- 参考スコア（独自算出の注目度）: 17.602145893690864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning LLMs to inject new knowledge faces a critical challenge: LLMs can quickly memorize new facts, yet fail to use them for downstream reasoning tasks. We formalize this failure as the \textit{\textbf{Knowing--Using Gap}}, characterized by an accuracy gap and a temporal lag between memorization and generalization. To understand this phenomenon, we fine-tune LLMs with unseen knowledge and monitor the spatial permeation dynamics of the knowledge internally using a novel intervention technique called self-patching. Self-patching identifies activation locations where relocating representations substantially improves failed generalization cases. These results are consistent with a knowledge-circuit misalignment hypothesis: memorized representations can exist internally but may not be routed to computation-effective layers. To demonstrate the practicality of this diagnostic finding, we design a simple heuristic strategy which recovers 58--75\% of the oracle headroom in generalization failure. Experiments are done cross-domain for the robustness of this finding.
- Abstract（参考訳）: 新たな知識を注入するための微調整 LLM は、重要な課題に直面している: LLM は、新しい事実をすばやく記憶することができるが、下流の推論タスクにそれらを使用できない。
我々は,この失敗を,記憶と一般化の時間差と精度ギャップを特徴とする「textit{\textbf{Knowing-Using Gap}}」として定式化する。
この現象を理解するために,我々は未知の知識でLLMを微調整し,自己パッチングと呼ばれる新たな介入手法を用いて内部の知識の空間透過動態をモニタリングする。
自己パッチは、表現の移動が失敗する一般化ケースを大幅に改善する活性化位置を特定する。
記憶された表現は内部に存在するが、計算効率の良い層にルーティングされない。
この診断の実用性を示すため,本研究は,総括的失敗において,託主室の58～75パーセントを回復する簡単なヒューリスティック戦略を設計した。
この発見の堅牢性のために、実験はクロスドメインで行われる。
関連論文リスト
- Exposing the Illusion of Erasure in Knowledge Editing for LLMs [8.788531432978802]
我々は,知識編集(KE)が,LLMにおける特定の事実を,コストのかかる再学習なしに更新するためのフロンティアとして登場したことを示す。
低ランク更新は既存の知識を上書きするのではなく、モデル表現空間内で再配布することを示す。
損失景観の分析により、編集された知識は摂動に非常に敏感な狭く異方性のある領域にあることが明らかになった。
論文 参考訳（メタデータ） (2026-06-22T12:53:54Z) - Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations [36.45654492179688]
幻覚はランダムノイズではなく、系統的な内部力学から生じる。
第一に、注意は、完全なコンテキストに分散するのではなく、ショートカットのような構造的手がかりに焦点を合わせている。
第二に、フィードフォワード表現は提供された知識を根拠にせず、モデルがパラメトリックメモリに戻る。
論文 参考訳（メタデータ） (2026-05-25T22:08:59Z) - How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。
我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
論文 参考訳（メタデータ） (2026-04-26T14:34:49Z) - GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics [51.647572539626715]
GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。
6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。
さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
論文 参考訳（メタデータ） (2026-04-03T07:52:26Z) - Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。
タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。
この空間性-微分的関係は、様々なモデルや領域で観測可能である。
論文 参考訳（メタデータ） (2026-03-03T18:48:15Z) - Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。
本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。
我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
論文 参考訳（メタデータ） (2025-12-01T15:56:00Z) - Understanding the Dilemma of Unlearning for Large Language Models [50.54260066313032]
Unlearningは、大きな言語モデル(LLM)から特定の知識を取り除こうとしている。
提案するunPactは,帰納的帰属とコントリビューショントラッキングによるアンラーニングのための解釈可能なフレームワークである。
論文 参考訳（メタデータ） (2025-09-29T12:15:19Z) - Mirage of Mastery: Memorization Tricks LLMs into Artificially Inflated Self-Knowledge [0.0]
既存の研究は、LLMにおける記憶障害と自己認知障害を別の問題として扱う。
我々は,LLMが学習データから推論パターンを真に学習するかどうかを確認するために,新しいフレームワークを利用する。
LLMは記憶された解から自信を引き出して高い自己知識を推測する。
論文 参考訳（メタデータ） (2025-06-23T18:01:16Z) - Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。
彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。
この研究は言語現象とLLMの計算機構を結びつける。
論文 参考訳（メタデータ） (2025-03-17T15:47:37Z) - Detecting Memorization in Large Language Models [0.0]
大規模言語モデル(LLM)は自然言語処理において驚くべき結果を得たが、トレーニングデータの一部を記憶する傾向にある。
従来の暗記検出方法は出力確率や損失関数に依存している。
LLM内のニューロンの活性化を調べることによって,記憶を正確に検出する解析手法を提案する。
論文 参考訳（メタデータ） (2024-12-02T00:17:43Z) - Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。
本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。
6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
論文 参考訳（メタデータ） (2024-01-19T15:39:49Z) - Temporal Knowledge Question Answering via Abstract Reasoning Induction [32.08799860090592]
本研究では,Large Language Models(LLMs)における時間的知識推論の高度化という課題に対処する。
本稿では,時間的推論を知識非依存と知識に基づく2つのフェーズに分割する抽象推論誘導(ARI)フレームワークを提案する。
提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
論文 参考訳（メタデータ） (2023-11-15T17:46:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。