論文の概要: GRU: Mitigating the Trade-off between Unlearning and Retention for Large Language Models

• arxiv url: http://arxiv.org/abs/2503.09117v1
• Date: Wed, 12 Mar 2025 07:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:20.408618
• Title: GRU: Mitigating the Trade-off between Unlearning and Retention for Large Language Models
• Title（参考訳）: GRU:大規模言語モデルの非学習と保持のトレードオフを緩和する
• Authors: Yue Wang, Qizhou Wang, Feng Liu, Wei Huang, Yali Du, Xiaojiang Du, Bo Han,
• Abstract要約: 大言語モデル(LLM)のアンラーニングは、プライバシや著作権関連の応答を取り除く上で重要な役割を担っている。 完全な未学習の追求には、その一般的な機能に妥協があるため、かなりのコストが伴うことが多い。 幾何的な方法で勾配の更新を制御する拡張型アンラーニングフレームワークであるGradient Rectified Unlearning (GRU)を提案する。
• 参考スコア（独自算出の注目度）: 34.90826139012299
• License:
• Abstract: Large language model (LLM) unlearning has demonstrated its essential role in removing privacy and copyright-related responses, crucial for their legal and safe applications. However, the pursuit of complete unlearning often comes with substantial costs due to its compromises in their general functionality, leading to a notorious trade-off between unlearning and retention. In examining the update process for unlearning dynamically, we find gradients hold essential information for revealing this trade-off. In particular, we look at the varying relationship between retention performance and directional disparities between gradients during unlearning. It motivates the sculpting of an update mechanism derived from gradients from two sources, i.e., harmful for retention and useful for unlearning. Accordingly, we propose Gradient Rectified Unlearning (GRU), an enhanced unlearning framework controlling the updating gradients in a geometry-focused and optimization-driven manner such that their side impacts on other, unrelated responses can be minimized. Specifically, GRU derives a closed-form solution to project the unlearning gradient onto the orthogonal space of that gradient harmful for retention, ensuring minimal deviation from its original direction under the condition that overall performance is retained. Comprehensive experiments are conducted to demonstrate that GRU, as a general framework, is straightforward to implement and efficiently enhances a range of baseline methods through its adaptable and compatible characteristics. Additionally, experimental results show its broad effectiveness across a diverse set of benchmarks for LLM unlearning.
• Abstract（参考訳）: 大規模言語モデル(LLM)のアンラーニングは、プライバシーと著作権に関する応答を除去する上で重要な役割を担っている。 しかしながら、完全な未学習の追求には、その一般的な機能に妥協があるため、かなりのコストが伴うことが多く、未学習と継続の間に悪名高いトレードオフが生じている。 動的にアンラーニングの更新プロセスを調べると、このトレードオフを明らかにするための重要な情報を持つ勾配が見つかる。 特に,保持性能と非学習時の勾配の方向性の相違について検討した。 これは、2つのソース、すなわち保持に有害であり、未学習に有用な2つのソースからの勾配から派生した更新メカニズムの彫刻を動機付けている。 そこで本稿では,GRU(Gradient Rectified Unlearning)を提案する。GRU(Gradient Rectified Unlearning)は,幾何学的および最適化的手法で勾配の更新を制御し,非関係な応答に対する副作用を最小限に抑えるための学習フレームワークである。 特に、GRUは、学習しない勾配を維持に有害な勾配の直交空間に投影する閉形式解を導出し、全体的な性能が維持される条件の下で、元の方向からのずれを最小限に抑える。 総合的な実験により、GRUは汎用的なフレームワークとして、適応性と互換性のある特性を通じて、一連のベースラインメソッドの実装と効率的な拡張が可能であることを示す。 さらに、実験結果は、LLMアンラーニングのための様々なベンチマークセットにまたがる幅広い効果を示している。

関連論文リスト

• CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization [0.7366405857677226]
  本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。 提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。 合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
  論文  参考訳（メタデータ） (2024-11-09T02:36:39Z)
• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• RobustCalib: Robust Lidar-Camera Extrinsic Calibration with Consistency Learning [42.90987864456673]
  LiDARカメラ外部推定の現在の手法は、オフラインの目標と人間の努力に依存している。 本稿では,外因性キャリブレーション問題に頑健で自動的で単発的な方法で対処する新しい手法を提案する。 我々は,異なるデータセットの総合的な実験を行い,本手法が正確かつ堅牢な性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-02T09:29:50Z)
• DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
  CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。 本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
  論文  参考訳（メタデータ） (2023-05-03T12:34:45Z)
• CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning [26.05184273238923]
  この研究は、オフライン逆強化学習(IRL)における大きな課題に取り組むことを目的としている。 我々は「保守主義」を学習報酬関数に統合することでオフラインIRLを効率的に解くアルゴリズム(CLARE)を考案した。 我々の理論的分析は、学習した方針と専門家の政策の間のリターンギャップに上限を与える。
  論文  参考訳（メタデータ） (2023-02-09T17:16:29Z)
• Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
  画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。 我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
  論文  参考訳（メタデータ） (2021-01-07T07:33:38Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。