Fugu-MT 論文翻訳(概要): GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs

論文の概要: GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs

arxiv url: http://arxiv.org/abs/2503.09117v3
Date: Thu, 05 Jun 2025 13:34:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-06 16:56:39.478495
Title: GRU: Mitigating the Trade-off between Unlearning and Retention for LLMs
Title（参考訳）: GRU:LLMの非学習と保持のトレードオフを緩和する
Authors: Yue Wang, Qizhou Wang, Feng Liu, Wei Huang, Yali Du, Xiaojiang Du, Bo Han,
Abstract要約: 非学習過程における更新の方向を規定する改良されたフレームワークであるグラデーション・リクティファイド・アンラーニング(GRU)を提案する。 GRUは簡単に実装でき、様々な確立された未学習ベンチマークで実践的な効果を示す。
参考スコア（独自算出の注目度）: 34.90826139012299
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM) unlearning has demonstrated its essential role in removing privacy and copyright-related responses, crucial for their legal and safe applications. However, the pursuit of complete unlearning often comes with substantial costs due to its compromises in their general functionality, leading to a notorious trade-off between unlearning and retention. It motivates this paper to explore enhanced unlearning schemes that can mitigate this trade-off. Specifically, we propose Gradient Rectified Unlearning (GRU), an improved framework that regulates the directions of gradient updates during the unlearning procedure such that their side impacts on other, unrelated responses can be minimized. GRU is easy and general to implement, demonstrating practical effectiveness across a variety of well-established unlearning benchmarks.
Abstract（参考訳）: 大規模言語モデル(LLM)のアンラーニングは、プライバシーと著作権に関する応答を除去する上で重要な役割を担っている。しかしながら、完全な未学習の追求には、その一般的な機能に妥協があるため、かなりのコストが伴うことが多く、未学習と継続の間に悪名高いトレードオフが生じている。この論文は、このトレードオフを緩和できる強化されたアンラーニングスキームを探求する動機となっている。具体的には、非学習手順中の勾配更新の方向を規定する改良されたフレームワークであるGradient Rectified Unlearning (GRU)を提案する。 GRUは簡単に実装でき、様々な確立された未学習ベンチマークで実践的な効果を示す。

関連論文リスト

GRAIL: Gradient-Based Adaptive Unlearning for Privacy and Copyright in LLMs [26.13653211674955]
広範囲なデータセットでトレーニングされた大規模言語モデル(LLM)は、しばしばセンシティブな情報を学ぶ。望ましくない情報を除去するために、スクラッチからモデル全体をリトレーニングすることは、費用がかかることと実用的でないことの両方である。本稿では,GRAIL(AdaptIve unLearning)を提案する。
論文参考訳（メタデータ） (2025-04-17T06:16:32Z)
SAEs $\textit{Can}$ Improve Unlearning: Dynamic Sparse Autoencoder Guardrails for Precision Unlearning in LLMs [24.48560556882878]
精度未学習のための新しい手法である$textbfDynamic DAE Guardrails$ (DSG)を紹介した。実験の結果,DSGは未学習を先導する手法よりもかなり優れていた。
論文参考訳（メタデータ） (2025-04-11T01:24:03Z)
CGLearn: Consistent Gradient-Based Learning for Out-of-Distribution Generalization [0.7366405857677226]
本研究では,様々な環境における勾配の一致に依存する,単純だが強力なアプローチCGLearnを提案する。提案手法は, 線形および非線形の条件下での最先端手法と比較して, 優れた性能を示す。合成データセットと実世界のデータセットの総合的な実験は、様々なシナリオにおけるその有効性を強調している。
論文参考訳（メタデータ） (2024-11-09T02:36:39Z)
Dataset Awareness is not Enough: Implementing Sample-level Tail Encouragement in Long-tailed Self-supervised Learning [16.110763554788445]
擬似ラベル情報を利用して動的温度と再重み付け戦略を推進し、自己教師付き長期学習に擬似ラベルを導入する。我々は,温度パラメータにおける量認識の欠如を分析し,この不足を補うために再重み付けを用いて,サンプルレベルで最適なトレーニングパターンを実現する。
論文参考訳（メタデータ） (2024-10-30T10:25:22Z)
Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文参考訳（メタデータ） (2024-07-07T12:19:37Z)
Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
論文参考訳（メタデータ） (2024-06-13T14:41:00Z)
RobustCalib: Robust Lidar-Camera Extrinsic Calibration with Consistency Learning [42.90987864456673]
LiDARカメラ外部推定の現在の手法は、オフラインの目標と人間の努力に依存している。本稿では,外因性キャリブレーション問題に頑健で自動的で単発的な方法で対処する新しい手法を提案する。我々は,異なるデータセットの総合的な実験を行い,本手法が正確かつ堅牢な性能を実現することを示す。
論文参考訳（メタデータ） (2023-12-02T09:29:50Z)
DELTA: Dynamic Embedding Learning with Truncated Conscious Attention for CTR Prediction [61.68415731896613]
CTR(Click-Through Rate)予測は、製品とコンテンツの推奨において重要なタスクである。本稿では,CTR予測のための動的埋め込み学習を実現するモデルを提案する。
論文参考訳（メタデータ） (2023-05-03T12:34:45Z)
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
論文参考訳（メタデータ） (2023-02-19T17:42:35Z)
CLARE: Conservative Model-Based Reward Learning for Offline Inverse Reinforcement Learning [26.05184273238923]
この研究は、オフライン逆強化学習(IRL)における大きな課題に取り組むことを目的としている。我々は「保守主義」を学習報酬関数に統合することでオフラインIRLを効率的に解くアルゴリズム(CLARE)を考案した。我々の理論的分析は、学習した方針と専門家の政策の間のリターンギャップに上限を与える。
論文参考訳（メタデータ） (2023-02-09T17:16:29Z)
Progressive Self-Guided Loss for Salient Object Detection [102.35488902433896]
画像中の深層学習に基づくサラエント物体検出を容易にするプログレッシブ自己誘導損失関数を提案する。我々のフレームワークは適応的に集約されたマルチスケール機能を利用して、健全な物体の探索と検出を効果的に行う。
論文参考訳（メタデータ） (2021-01-07T07:33:38Z)
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。勾配推定の品質はリスク最小化においてより重要であることを示す。本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文参考訳（メタデータ） (2020-07-05T04:19:37Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。