論文の概要: Unlearning by Extrapolating a Shrink-and-Heal Lookahead

• arxiv url: http://arxiv.org/abs/2611.00374v1
• Date: Fri, 30 Oct 2026 20:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.399552
• Title: Unlearning by Extrapolating a Shrink-and-Heal Lookahead
• Title（参考訳）: 軽快・健康な頭蓋外挿による非学習
• Abstract要約: Unlearningは、大きな言語モデルを、忘れることなく再トレーニングされたような振る舞いにすることを目的としている。 我々は、この制限に対処し、それを訓練することなく、神託への方向を推定する。 提案手法であるShiftは, 蒸留ターゲットへのルックアヘッドごとの変化を外挿し, 反復的に精製する。
• 参考スコア（独自算出の注目度）: 5.957171492626586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlearning aims to make a large language model behave like one retrained without its forget set. Prevailing likelihood-suppression objectives, however, lack an explicit forgetting target: they continually reward lower forget-set likelihood, making forgetting sensitive to the optimization budget. We address this limitation by estimating the direction toward the oracle without training it. Our key idea is to shrink the fine-tuned model toward its pre-fine-tuning weights and briefly re-learn the retain set, thereby removing the forget-specific contribution; in the linearized regime, this shrink-and-heal lookahead moves the model a fixed fraction of the way to the retrained model, its unique fixed point. Our method, SHIFT, extrapolates the lookahead's per-token changes into distillation targets and iteratively refines them. Evaluated against eleven baselines under a unified OpenUnlearning protocol, SHIFT achieves the highest aggregate score across all TOFU settings and the closest oracle alignment, 3.7x closer on average than the next-best method; on MUSE, it preserves the most retain knowledge. Under larger optimization budgets, baselines overshoot the oracle, while SHIFT remains near it, even under relearning attacks.
• Abstract（参考訳）: Unlearningは、大きな言語モデルを、忘れることなく再トレーニングされたような振る舞いにすることを目的としている。 しかし、一般的な可能性抑圧の目的は、明確な忘れる目標を欠いている:彼らは絶えず、忘れる確率を低くし、最適化予算に敏感なことを忘れる。 我々は、この制限に対処し、それを訓練することなく、神託への方向を推定する。 我々のキーとなる考え方は、調整前の重みに向かって微調整されたモデルを縮小し、リザーブセットを短時間再学習することで、リニアライズドレジームにおいて、この縮小と健康のルックアヘッドはモデルを、そのユニークな固定点であるリトレーニングされたモデルの一定の部分へと移動させることである。 提案手法であるShiftは, 蒸留ターゲットへのルックアヘッドごとの変化を外挿し, 反復的に精製する。 統一されたOpenUnlearningプロトコルの下で11のベースラインに対して評価され、SHFTは全てのTOFU設定と最も近いオラクルアライメントで最高スコアを達成し、次のベストメソッドよりも平均3.7倍近い。 より大きな最適化予算の下では、ベースラインは神託をオーバーシュートし、Shiftは、再学習攻撃でも、その近くにとどまっている。

関連論文リスト

• PURGE: Projected Unlearning via Retain-Guided Erasure [5.069332646113575]
  PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。 CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。 PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
  論文  参考訳（メタデータ） (2026-06-02T15:53:01Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Multi-Objective Reference-Aligned Machine Unlearning [0.6299766708197883]
  機械学習は、モデルの有用性を維持しながら、特定のトレーニングサンプルの影響を取り除くことを目的としている。 既存の単目的のアプローチ、例えば昇華やランダムレバーベリングは、しばしば矛盾する最適化のダイナミクスと非有界な忘れの目的のために、忘れを誘発する。 本稿では, 損失を, 忘れられたサンプルに対する予測の有界なKLアライメントに置き換えることで, 忘れと保持を共同で最適化する多目的フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-29T22:32:40Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Forward-Only Continual Learning [8.873948519614244]
  破滅的な忘れ物は、継続的な学習における中心的な課題である。 本稿では,フォロ(FoRo)を提案する。 実験により、FoRoは平均的な忘れを著しく減らし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-01T15:10:38Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。