論文の概要: SAUL: Sharpness-Aware Augmented-Lagrangian Unlearning

• arxiv url: http://arxiv.org/abs/2608.16249v1
• Date: Mon, 17 Aug 2026 08:23:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.590622
• Title: SAUL: Sharpness-Aware Augmented-Lagrangian Unlearning
• Title（参考訳）: SAUL: シャープネスを意識したラグランジアン・アンラーニング
• Abstract要約: 制約最小化問題として未学習を定式化するSAUL(Sharpness-Aware Augmented-Lagrangian Unlearning)を提案する。 SAUL の中核は、所定の満足度基準で明示的な制約として忘れることである。 拡張ラグランジアンコントローラをドロップイン修飾器として代表ベースラインに適用することにより,検索後の有用性が向上することを示す。
• 参考スコア（独自算出の注目度）: 4.268049805078337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning in Large Language Models (LLMs) faces a critical trade-off between erasing target knowledge and preserving general utility. We propose SAUL (Sharpness-Aware Augmented-Lagrangian Unlearning), which formulates unlearning as a constrained minimization problem following the principle of "forget enough, but no more than necessary." At its core, SAUL formulates forgetting as an explicit constraint with a prescribed satisfaction criterion, whereas prior unlearning methods typically specify the desired level of forgetting implicitly through optimization objectives. An augmented Lagrangian controller adaptively adjusts forget-side pressure according to constraint violation and can eventually deactivate the forget-side update as the prescribed criterion remains satisfied. Sharpness-aware updates on both retain and forget objectives, together with a dual-optimizer design that maintains role-separated states, further stabilize the resulting unlearning dynamics. We evaluate SAUL on the TOFU, WMDP, and MUSE benchmarks, demonstrating favorable forgetting-utility trade-offs over representative sharpness- and perturbation-based baselines under benchmark-specific forgetting criteria. Beyond the complete SAUL framework, we further show on TOFU that applying the augmented-Lagrangian controller as a drop-in modifier to representative baselines improves their post-forgetting utility, demonstrating the practical value of explicit forgetting control.
• Abstract（参考訳）: 大規模言語モデル(LLM)における機械学習は、ターゲット知識の消去と汎用性の維持の間に重要なトレードオフに直面している。 そこで我々は,SAUL (Sharpness-Aware Augmented-Lagrangian Unlearning) を提案する。 SAULの中核は、所定の満足度基準で明示的な制約として忘れることを定式化し、一方、事前の未学習手法では、最適化目的を通じて暗黙的に忘れることの望ましいレベルを規定する。 拡張ラグランジアンコントローラは、制約違反に応じて、忘れ側の圧力を適応的に調整し、所定基準が満たされたまま、最終的に忘れ側の更新を非活性化することができる。 シャープネスを意識した、目的の保持と無視の両方の更新と、ロール分離状態を維持するデュアル最適化設計により、結果の未学習のダイナミクスをさらに安定化させる。 我々は,TOFU,WMDP,MUSEのベンチマーク上でSAULを評価し,ベンチマーク固有の無視基準の下で,顕著なシャープネスと摂動ベースラインに対して,有効性トレードオフを示す。 完全なSAULフレームワークの他に、拡張ラグランジアンコントローラをドロップイン修飾器として代表ベースラインに適用することで、ポストフォジッティングユーティリティを改善し、明示的な忘れ制御の実用的価値を示すことをTOFUで示している。

関連論文リスト

• On-the-go Forgetting without Explicit Unlearning via ERASE [2.6426981014417046]
  ERASEは、モデルウェイトを変更することなく、プライベートデータの観測可能な影響を抑制する、現在進行中の忘れ物のためのフレームワークである。 ERASEが指定されたサブクラスの機能的忘れを確実に達成した場合に、十分な条件を厳格に特徴付ける。 ERASEは、最近の未学習手法よりも、有効性を忘れること、計算効率、保持率の最良のバランスを維持している。
  論文  参考訳（メタデータ） (2026-09-05T08:09:27Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Distill, Forget, Repeat: A Framework for Continual Unlearning in Text-to-Image Diffusion Models [42.10036183563499]
  本稿では, 減量要求の順序の下で, 目標と安定性を確保できる新しい生成蒸留に基づく連続的アンラーニングフレームワークを提案する。 10段階の逐次ベンチマーク実験により,提案手法はより忠実な概念を忘れることが実証された。 このフレームワークは、大規模生成モデルのデプロイとメンテナンスの責任を負うための実行可能な経路を提供する。
  論文  参考訳（メタデータ） (2025-12-02T11:22:32Z)
• OFMU: Optimization-Driven Framework for Machine Unlearning [5.100622189286672]
  大規模言語モデルは、ユーザ要求、著作権のある資料、時代遅れの情報など、特定の知識を解放する能力を必要としている。 我々は,保留期間を保ちながら忘れを明示的に優先順位付けするペナルティベースの二段階最適化フレームワークOFMUを提案する。 OFMUは既存のアンラーニング手法を有効性と有効性の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-09-26T15:31:32Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs [34.90826139012299]
  非学習過程における更新の方向を規定する改良されたフレームワークであるグラデーション・リクティファイド・アンラーニング(GRU)を提案する。 GRUは簡単に実装でき、様々な確立された未学習ベンチマークで実践的な効果を示す。
  論文  参考訳（メタデータ） (2025-03-12T07:08:54Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• DeAL: Decoding-time Alignment for Large Language Models [58.368979253590794]
  大規模言語モデル(LLM)は、現在、人間の好みに沿ったコンテンツを生成することが期待されている。 我々は,報酬関数をカスタマイズし,LLMの復号時間アライメントを可能にするフレームワークであるDeALを提案する。
  論文  参考訳（メタデータ） (2024-02-05T06:12:29Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。