論文の概要: Label Smoothing Improves Gradient Ascent in LLM Unlearning

• arxiv url: http://arxiv.org/abs/2510.22376v1
• Date: Sat, 25 Oct 2025 17:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 19:54:32.517173
• Title: Label Smoothing Improves Gradient Ascent in LLM Unlearning
• Title（参考訳）: LLMアンラーニングにおけるラベルの平滑化による勾配上昇の改善
• Authors: Zirui Pang, Hao Zheng, Zhijie Deng, Ling Li, Zixin Zhong, Jiaheng Wei,
• Abstract要約: 未学習モデルに対するSGA(Smoothed Gradient Ascent)を提案する。 SGAは、変化可能なスムース化率を通じて、複数の構築された正規データと、その差分データを結合する。 我々は,TOFU,Harry Potter,MUSE-NEWSの3つのベンチマークでSGAを評価した。
• 参考スコア（独自算出の注目度）: 31.069520631133724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM unlearning has emerged as a promising approach, aiming to enable models to forget hazardous/undesired knowledge at low cost while preserving as much model utility as possible. Among existing techniques, the most straightforward method is performing Gradient Ascent (GA) w.r.t. the forget data, thereby forcing the model to unlearn the forget dataset. However, GA suffers from severe instability, as it drives updates in a divergent direction, often resulting in drastically degraded model utility. To address this issue, we propose Smoothed Gradient Ascent (SGA). SGA combines the forget data with multiple constructed normal data through a tunable smoothing rate. Intuitively, this extends GA from learning solely on the forget data to jointly learning across both forget and normal data, enabling more stable unlearning while better preserving model utility. Theoretically, we provide the theoretical guidance on the selection of the optimal smoothing rate. Empirically, we evaluate SGA on three benchmarks: TOFU, Harry Potter, and MUSE-NEWS. Experimental results demonstrate that SGA consistently outperforms the original Gradient Ascent (GA) method across all metrics and achieves top-2 performance among all baseline methods on several key metrics.
• Abstract（参考訳）: LLMアンラーニングは、モデルを可能な限り多くのモデルユーティリティを保持しながら、危険で望ましくない知識を低コストで忘れることを目的とした、有望なアプローチとして登場した。 既存のテクニックの中で、最も簡単な方法は、忘れたデータに対してグラディエント・アセント(GA)w.r.tを実行することで、モデルに忘れたデータセットを解放させるように強制する。 しかし、GAは、更新を異なる方向に駆動するので、深刻な不安定さに悩まされ、しばしば大幅に劣化したモデルユーティリティをもたらす。 この問題に対処するため,Smoothed Gradient Ascent (SGA)を提案する。 SGAは、変化可能なスムース化率を通じて、複数の構築された正規データと、その差分データを結合する。 直感的には、GAは忘れたデータのみを学習するから、忘れたデータと通常のデータの両方を共同で学習するようになる。 理論的には,最適平滑化率の選択に関する理論的ガイダンスを提供する。 実験により,TOFU,Harry Potter,MUSE-NEWSの3つのベンチマークでSGAを評価した。 実験結果から,SGAはすべての指標において,元のGradient Ascent(GA)メソッドよりも一貫して優れており,主要な指標上でのすべてのベースラインメソッドの中で,トップ2のパフォーマンスを実現していることがわかった。

関連論文リスト

• FreeGAD: A Training-Free yet Effective Approach for Graph Anomaly Detection [54.576802512108685]
  Graph Anomaly Detection (GAD)は、グラフ内の多数から逸脱するノードを特定することを目的としている。 既存のアプローチは、複雑でリソース集約的なトレーニングプロセスのために、高デプロイメントコストとスケーラビリティの不足に悩まされることが多い。 新たなGAD法であるFreeGADを提案する。
  論文  参考訳（メタデータ） (2025-08-14T12:37:20Z)
• LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation [9.181689366185038]
  グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。 本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:16:21Z)
• Efficient Bi-Level Optimization for Recommendation Denoising [31.968068788022403]
  暗黙のフィードバックは高いノイズを持ち、推奨品質を著しく損なう。 両レベルの最適化問題としてデノナイズをモデル化する。 内部最適化は、推奨のための効果的なモデルと重量決定を導くことを目的としている。 重み発生器を用いて重みの保存と1ステップの勾配マッチングに基づく損失を回避し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2022-10-19T06:36:21Z)
• Contrastive Graph Few-Shot Learning [67.01464711379187]
  グラフマイニングタスクのためのコントラストグラフFew-shot Learningフレームワーク(CGFL)を提案する。 CGFLは、データ表現を自己管理的に学習し、分散シフトの影響を緩和し、より良い一般化を行う。 総合的な実験により、CGFLはいくつかのグラフマイニングタスクにおいて最先端のベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-09-30T20:40:23Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。