論文の概要: GSS: Gated Subspace Steering for Selective Memorization Mitigation in LLMs

• arxiv url: http://arxiv.org/abs/2602.08901v1
• Date: Mon, 09 Feb 2026 17:02:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.385828
• Title: GSS: Gated Subspace Steering for Selective Memorization Mitigation in LLMs
• Title（参考訳）: GSS: LLMにおける選択記憶緩和のためのゲートサブスペースステアリング
• Authors: Xuanqi Zhang, Haoyang Shang, Xiaoxiao Li,
• Abstract要約: 大規模言語モデル(LLM)は、トレーニングシーケンスを冗長に記憶し、再生することができる。 既存の緩和法は介入を均一に適用し、通常は一般化されるトークンの大部分のパフォーマンスを低下させる。 記憶の希薄化,間欠的化,トークン条件化を実証的に示し,効果的な緩和には文脈認識の介入が必要であることを示唆する。
• 参考スコア（独自算出の注目度）: 31.69332551223108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can memorize and reproduce training sequences verbatim -- a tendency that undermines both generalization and privacy. Existing mitigation methods apply interventions uniformly, degrading performance on the majority of tokens that generalize normally. We show empirically that memorization is sparse, intermittent, and token-conditioned, suggesting that effective mitigation requires context-aware intervention rather than static parameter modification. To this end, we propose a novel and effective selective memorization mitigation method -- Gated Subspace Steering (GSS), which decomposes intervention into a probe (detecting memorization-relevant activations) and a steer (applying targeted correction only when the probe exceeds a threshold). The optimal probe-steer pair emerges from a principled optimization framework based on optimal subspace steering. Experiments on four benchmarks show GSS matches or exceeds state-of-the-art memorization reduction while requiring $100-1000 \times$ less compute than optimization-based alternatives. Furthermore, we provide new theoretical insights into the geometry of memorization in neural representations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、一般化とプライバシの両方を損なう傾向にあるトレーニングシーケンスを記憶し、再現することができる。 既存の緩和法は介入を均一に適用し、通常は一般化されるトークンの大部分のパフォーマンスを低下させる。 メモリ化はスパースであり,断続的で,トークン条件であり,有効緩和には静的パラメータ修正よりもコンテキスト認識の介入が必要であることを実証的に示す。 そこで本稿では,プローブとステアへの介入(記憶関連アクティベーションの検出)を分解するGated Subspace Steering(GSS)を提案する。 最適プローブステア対は、最適部分空間ステアリングに基づく原理化された最適化フレームワークから生じる。 4つのベンチマークの実験は、最適化ベースの代替よりも100-1000 \times$少ない計算を必要としながら、GSSの一致または最先端の記憶量の削減を示す。 さらに、ニューラル表現における記憶の幾何学に関する新たな理論的洞察を提供する。

関連論文リスト

• AGZO: Activation-Guided Zeroth-Order Optimization for LLM Fine-Tuning [8.698253005940503]
  アクティベーション誘導ゼロ階最適化(AGZO)を提案する。 従来の方法とは異なり、AGZOは前方通過中にフライ上のコンパクトな活性化インフォームド部分空間を抽出し、この低ランク部分空間に摂動を制限する。 AGZOは、最先端のZOベースラインを一貫して上回り、一階ファインチューニングによるパフォーマンスギャップを著しく狭めている。
  論文  参考訳（メタデータ） (2026-01-24T02:28:15Z)
• Early Detection and Reduction of Memorisation for Domain Adaptation and Instruction Tuning [4.145513103869504]
  我々は、一般的な評価データセット上で1.4B-70BパラメータにまたがるPythia、Llama3、Mistralモデルを微調整する。 最初の数回は暗記が劇的に増加し、しばしば検証の難易度や評価性能が最適化される前に顕著に増加することが判明した。 我々は,n-gram-aware loss regulariserを導入し,最大40%までテストしたモデルファミリー全体の記憶を減少させることを示した。
  論文  参考訳（メタデータ） (2025-10-13T13:12:46Z)
• Leveraging Coordinate Momentum in SignSGD and Muon: Memory-Optimized Zero-Order [39.25335214877435]
  ダウンストリームタスクに事前訓練されたモデルを適用するには、微調整大型言語モデル(LLM)が不可欠である。 従来の一階述語アルゴリズムは、モデルサイズであまりスケールしない、禁止的なメモリと計算コストを発生させる。 メモリと計算効率の代替としてゼロオーダー(ZO)最適化法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T20:27:17Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Gumbel Reranking: Differentiable End-to-End Reranker Optimization [61.16471123356738]
  RAGシステムは関連する文書を識別するためにリランカーに依存している。 注釈付きクエリ-ドキュメントペアが不足しているため、これらのモデルの微調整は依然として難しい。 我々は,トレーニングと推論のギャップを最小限に抑えることを目的とした,リランカーのためのエンドツーエンドのトレーニングフレームワークであるGumbel Re rankを提案する。
  論文  参考訳（メタデータ） (2025-02-16T13:23:39Z)
• Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining [43.39070237124361]
  低ランク最適化は、大きな言語モデルのメモリ効率のトレーニングを可能にするための有望なアプローチである。 これらの手法の鍵となる課題は、効果的な軌道を確保するために適切な部分空間を選択することである。 本稿では,LLMプリトレーニングにおける低ランク最適化のための重要サンプリングについて提案する。
  論文  参考訳（メタデータ） (2025-02-09T06:30:19Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。