論文の概要: A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
- arxiv url: http://arxiv.org/abs/2610.09835v1
- Date: Wed, 07 Oct 2026 11:01:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.867543
- Title: A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
- Title（参考訳）: 音が聞こえない音: 音が聞こえない音の出力埋め込みで生計を立てる破滅的な現象
- Abstract要約: 大規模言語モデルでは,忘れられる場所や理由を解析する。
本稿では,トレーニング中の出力予測にのみAdamのエプシロンを上昇させるという介入を提案する。
- 参考スコア（独自算出の注目度）: 1.7077661158850292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual pre-training and fine-tuning in Large Language Models (LLMs) inevitably induce catastrophic forgetting, typically mitigated by replay using often-inaccessible original data. In this data-free regime, we analyze where forgetting occurs and why. Systematic parameter freezing across five settings up to 1.4B reveals that forgetting concentrates selectively in the output embeddings of tokens rarely seen in the new corpus, whereas the same sqrt(v-hat) band of the body is inert and new learning resides elsewhere. This localization is governed by the vocabulary deficiency of the corpus rather than the training mode, allowing pre-retraining risk ranking from token counts alone within a fixed base model. Mechanistically, absent tokens receive persistent one-sided softmax gradients that Adam's second-moment (sqrt(v-hat)) normalization amplifies into full-sized updates. We therefore propose an intervention: raising Adam's epsilon exclusively for the output projection during training. Across eight settings spanning 160M to 12B parameters and four model families, this removes 39.4% to 67.9% of forgetting across all seven stable configurations without degrading target learning or requiring per-model tuning. The defense combines additively or better with replay (79.8% on Qwen/Korean) and rescues released-head LoRA from a 23-fold forgetting surge. Because post-hoc editing of the drifted rows recovers under 5% of forgetting, the intervention must operate during training. Our findings indicate that a single-line optimizer adjustment may serve as the primary defense against catastrophic forgetting where the corpus starves the vocabulary.
- Abstract（参考訳）: 大規模言語モデル(LLM)における連続的な事前学習と微調整は、必然的に破滅的な忘れを招き、しばしばアクセス不能な元のデータを使用してリプレイによって緩和される。
このデータフリーなシステムでは、忘れられる場所と理由を分析します。
1.4Bまでの5つの設定で凍結された体系的パラメータは、新しいコーパスにはほとんど見られないトークンの出力埋め込みに、忘れることが選択的に集中していることを明らかにし、一方体の同じsqrt(v-hat)バンドは不活性であり、新しい学習は別の場所に存在している。
このローカライゼーションは、トレーニングモードではなく、コーパスの語彙不足によって制御され、固定ベースモデル内だけでトークン数からの事前規制されたリスクランキングを可能にする。
機械的に、欠落したトークンは、Adamの2番目のモーメント(sqrt(v-hat))正規化がフルサイズの更新を増幅する、永続的な片面のソフトマックス勾配を受け取る。
そこで我々は,訓練中の出力投影にのみアダムのエプシロンを上昇させるという介入を提案する。
160Mから12Bのパラメータと4つのモデルファミリにまたがる8つの設定で、ターゲット学習の劣化やモデル毎のチューニングを必要とせず、7つの安定構成を全て忘れることの39.4%から67.9%を省く。
防衛は追加的かそれ以上にリプレイ(Qwen/Koreanの79.8%)と組み合わされ、23倍の急上昇から解放されたロラを救出する。
ドリフトされた行のポストホック編集は5%の遅延で回復するため、トレーニング中に介入が実行されなければならない。
以上の結果から,単行オプティマイザの調整は,コーパスが語彙を飢えている場所での破滅的忘れに対する防御として有効である可能性が示唆された。
関連論文リスト
- CounterSteer: Suppressing Indirect Prompt Injection with Activation Steering [4.1626636325601405]
間接的なプロンプトインジェクションにより、エージェントは信頼できない検索されたテキストを命令として扱う。
モデル内のこの振る舞いを抑える推論時間ディフェンスであるCounterSteerを提案する。
論文 参考訳（メタデータ） (2026-09-29T02:51:31Z) - $T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training [38.44142588468548]
既存のグループ相対法では、コストがかかる。
単一生成軌道からトークンレベルの利点を校正するツインクリティカルな方法であるtfourを提案する。
実験の結果、最先端の批判のない手法と比較して、tfourは平均ベンチマーク性能を7.8%改善し、平均トレーニングステップ時間を63.4%削減した。
論文 参考訳（メタデータ） (2026-09-26T17:07:57Z) - NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳（メタデータ） (2026-09-08T03:14:54Z) - REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。
REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。
このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
論文 参考訳（メタデータ） (2026-08-31T11:34:19Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Output Vector Editing for Memorization Mitigation in Large Language Models [68.30351930772788]
大規模な言語モデルは、トレーニングデータからシーケンスを記憶し、再現し、プライバシ、著作権、セキュリティリスクを生み出す。
既存のニューロンレベルの緩和方法は、ニューロンの活性化をゼロにすることで編集を等しくするが、活性化はニューロンが関与するかどうかのみを制御する。
記憶継続に責任を負うニューロンの小さな集合を探索する制約最適化編集である出力ベクトル編集を提案する。
論文 参考訳（メタデータ） (2026-06-17T07:29:18Z) - Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。
近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。
この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
論文 参考訳（メタデータ） (2026-06-08T12:27:11Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - EDIT: Early Diffusion Inference Termination for dLLMs Based on Dynamics of Training Gradients [6.736735746633275]
拡散に基づく大規模言語モデル (dLLMs) は反復的妄想を通じてトークン生成を洗練させるが、全てのステップが完了する前に答えは安定することが多い。
本稿では,トレーニング時推論に対する十分な推論安定性が検出された場合に,適応的にデノイングを停止する推論時基準であるEDITを提案する。
論文 参考訳（メタデータ） (2025-11-29T23:47:47Z) - RAIN: Your Language Models Can Align Themselves without Finetuning [25.703729145091483]
大型言語モデル(LLM)は人間の好みと矛盾することが多い。
本研究では,不整合 LLM が自己ブーイングによって直接人間の嗜好に整合した応答を生成可能であることを示す。
本稿では,自己回帰推論(Rewindable Auto-Regressive Inference)という新しい推論手法を導入する。
論文 参考訳（メタデータ） (2023-09-13T17:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。