論文の概要: Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness

• arxiv url: http://arxiv.org/abs/2608.25429v1
• Date: Wed, 26 Aug 2026 06:39:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.624547
• Title: Distance Is Not Enough: Forget-Retain Alignment Gap Predicts LLM Relearning Robustness
• Title（参考訳）: 距離が十分ではない: 忘れられたアライメントギャップは、LLMがロバスト性を再学習すると予測する
• Abstract要約: 機械学習は、モデルを特定のデータを忘れることを目的としていますが、未学習のLLMは、しばしば未学習のままでいられません。 私たちは、再学習は更新構造に依存している、と論じています。 我々は、リラーニングアタックを実行せずに更新のリセットアライメントをスコアするトレーニング不要な予測器であるForget-Retain Alignment Gap (FRAG)を紹介した。
• 参考スコア（独自算出の注目度）: 9.836012586431522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning aims to make a model forget specific data, yet unlearned LLMs often fail to stay unlearned: brief fine-tuning can revive removed knowledge. Existing robustness predictors rely on global weight-space displacement, but distance alone can be misleading when random or destructive updates collapse performance. We argue that relearning robustness depends on update structure: robust unlearning should affect forget-critical weights while sparing retain-critical ones. We introduce the Forget-Retain Alignment Gap (FRAG), a training-free predictor that scores an update's forget-retain alignment without running a relearning attack, and separates selective from dense updates more reliably than global distance. Building on the forget-critical, retain-sparing principle, Forget-Retain Pruning (FRP) improves relearning robustness. Our results suggest that weight selectivity better explains robustness than distance alone. Code is available at https://github.com/Yi1-Chen/FRAG.
• Abstract（参考訳）: 機械学習は、モデルを特定のデータを忘れることを目的としていますが、未学習のLLMは、しばしば未学習のままでいられません。 既存のロバストネス予測器は、グローバルな重量空間の変位に依存するが、ランダムまたは破壊的な更新性能が崩壊した場合、距離だけでは誤解を招くことがある。 リラーニングの堅牢性は更新構造に依存している、と我々は主張する。 我々は、リラーニングアタックを実行せずに更新のリセットアライメントをスコアするトレーニングフリー予測器であるForget-Retain Alignment Gap (FRAG)を導入し、グローバル距離よりも高密度更新を確実に分離する。 Forget-Retain Pruning (FRP)は、リラーニングの堅牢性を改善する。 以上の結果から,重量選択性は距離のみよりも頑健さを説明できる可能性が示唆された。 コードはhttps://github.com/Yi1-Chen/FRAGで入手できる。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Source-Free Class Relearning: Diagnosing Forgetting in Class Unlearning [22.455121713091245]
  クラスアンラーニングは、モデルが保持クラスのパフォーマンスを維持しながら指定された忘れクラスを認識する能力を削除することを目的としている。 本研究では,厳密なソースフリー環境での授業再学習について検討し,未学習のモデルのみを用いて,忘れたクラスを復元できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-02T02:45:56Z)
• PreUnlearn: Auditing Collateral Knowledge Damage Before Large Language Model Unlearning [12.982098269346773]
  データ中心の観点から,大規模言語モデルの機械学習について検討する。 我々は一貫した崩壊パターンを見いだす: 横方向の損傷は、忘れられた集合の近くで最強であり、意味的な距離で弱まるが、ドメイン境界で消えることはない。 我々は,学習前予測タスクとして忘れセット監査を定式化し,下流の損傷を最も予測するデータの特徴を分析した。
  論文  参考訳（メタデータ） (2026-06-16T20:32:11Z)
• How Hard Can It Be? Hardness-Aware Multi-Objective Unlearning [75.97729821186815]
  機械学習は、プライバシー、著作権、バイアスの懸念による特定の忘れられたトレーニングデータの影響を取り除くことを目的としている。 我々は,品質の特定の改善を保証することを目的として,未学習のアルゴリズムを導出する。 私たちの硬度測定は、ユーティリティの劣化が避けられない場合にユーザーに通知します。
  論文  参考訳（メタデータ） (2026-06-01T11:49:47Z)
• SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion [39.17638540496959]
  SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) は、キーインサイトに基づいて構築された、保持セットなしのアンラーニング手法である。 高情報トークンはモデルの記憶された知識に集中し、低情報トークンは一般的な言語能力を反映する。 SHREDは再学習攻撃やメンバシップ推論攻撃に対して堅牢であり、連続的なアンラーニングの実行が多数あった後も安定したユーティリティを維持している。
  論文  参考訳（メタデータ） (2026-05-08T09:25:18Z)
• Anatomy of Unlearning: The Dual Impact of Fact Salience and Model Fine-Tuning [59.19460954480119]
  忘れられた知識が事前学習や教師付き微調整に由来するかどうかを考察する。 実験の結果,事前学習モデルとSFTモデルは未学習に対して異なる反応を示した。
  論文  参考訳（メタデータ） (2026-02-23T08:58:48Z)
• Model Collapse Is Not a Bug but a Feature in Machine Unlearning for LLMs [54.167494079321465]
  LLMの現在のアンラーニング方法は、それらを微調整データに組み込むことで、削除しようとしているプライベート情報に基づいて最適化されている。 本研究では,未学習目標を学習対象に含まない新しい非学習手法-部分的モデル崩壊(PMC)を提案する。
  論文  参考訳（メタデータ） (2025-07-06T03:08:49Z)
• Align-then-Unlearn: Embedding Alignment for LLM Unlearning [41.94295877935867]
  Unlearningは、個人情報や著作権のあるコンテンツなど、訓練されたモデルから特定のデータを選択的に取り除こうとしている。 セマンティック埋め込み空間においてアンラーニングを行う新しいフレームワークであるAlign-then-Unlearnを提案する。
  論文  参考訳（メタデータ） (2025-06-16T07:48:01Z)
• From Dormant to Deleted: Tamper-Resistant Unlearning Through Weight-Space Regularization [46.78723722220735]
  LLMの最近の未学習手法は再学習攻撃に対して脆弱である。 学習後50%程度から100%近くまで、リザーブセットだけを微調整することで、忘れたセットの精度が回復できるという驚くべき発見をしました。 本稿では,再学習攻撃に対する最先端の耐性を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T12:53:08Z)
• Queried Unlabeled Data Improves and Robustifies Class-Incremental Learning [133.39254981496146]
  クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。 我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。 CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
  論文  参考訳（メタデータ） (2022-06-15T22:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。