論文の概要: Exploring Criteria of Loss Reweighting to Enhance LLM Unlearning

• arxiv url: http://arxiv.org/abs/2505.11953v2
• Date: Wed, 28 May 2025 03:33:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.082526
• Title: Exploring Criteria of Loss Reweighting to Enhance LLM Unlearning
• Title（参考訳）: LLMアンラーニングを促進するための損失軽減の基準を探る
• Authors: Puning Yang, Qizhou Wang, Zhuo Huang, Tongliang Liu, Chengqi Zhang, Bo Han,
• Abstract要約: 損失再重み付けは、大きな言語モデル(LLM)を用いた機械学習において大きなメリットを示している。 本稿では,損失再重み付け,すなわち飽和と重要度という2つの異なる目標を同定する。 飽和度と重要度の両方の利点を組み合わせた簡易な再重み付け手法であるSatImpを提案する。
• 参考スコア（独自算出の注目度）: 66.8042627609456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Loss reweighting has shown significant benefits for machine unlearning with large language models (LLMs). However, their exact functionalities are left unclear and the optimal strategy remains an open question, thus impeding the understanding and improvement of existing methodologies. In this paper, we identify two distinct goals of loss reweighting, namely, Saturation and Importance -- the former indicates that those insufficiently optimized data should be emphasized, while the latter stresses some critical data that are most influential for loss minimization. To study their usefulness, we design specific reweighting strategies for each goal and evaluate their respective effects on unlearning. We conduct extensive empirical analyses on well-established benchmarks, and summarize some important observations as follows: (i) Saturation enhances efficacy more than importance-based reweighting, and their combination can yield additional improvements. (ii) Saturation typically allocates lower weights to data with lower likelihoods, whereas importance-based reweighting does the opposite. (iii) The efficacy of unlearning is also largely influenced by the smoothness and granularity of the weight distributions. Based on these findings, we propose SatImp, a simple reweighting method that combines the advantages of both saturation and importance. Empirical results on extensive datasets validate the efficacy of our method, potentially bridging existing research gaps and indicating directions for future research. Our code is available at https://github.com/tmlr-group/SatImp.
• Abstract（参考訳）: 損失再重み付けは、大きな言語モデル(LLM)を用いた機械学習において大きなメリットを示している。 しかし、それらの正確な機能ははっきりしないままであり、最適な戦略は未解決の問題であり、既存の方法論の理解と改善を妨げている。 本稿では、損失再重み付けという2つの異なる目標、すなわち飽和と重要度を識別する。前者は、それらの最適化が不十分なデータを強調すべきであることを示す一方、後者は損失最小化に最も影響を及ぼす重要なデータを強調する。 それらの有用性について検討するため,各目標に対する具体的な再重み付け戦略を設計し,各効果が未学習に与える影響を評価する。 確立されたベンチマークに関する広範な実証分析を行い、いくつかの重要な観察をまとめる。 (i)飽和は重要度に基づく再重み付けよりも有効性を高め、それらの組み合わせはさらなる改善をもたらす可能性がある。 (二)飽和度は通常、低い可能性を持つデータに低い重みを割り当てるが、重要度に基づく再重み付けは逆である。 三 未学習の有効性は、重量分布の滑らかさと粒度にも大きく影響される。 これらの知見に基づいて,飽和度と重要度の両方の利点を組み合わせた簡易な再重み付け手法であるSatImpを提案する。 提案手法の有効性を実証し,既存研究のギャップを埋める可能性,今後の研究の方向性を示す。 私たちのコードはhttps://github.com/tmlr-group/SatImp.orgで利用可能です。

関連論文リスト

• Understand the Effect of Importance Weighting in Deep Learning on Dataset Shift [0.0]
  ラベルシフトおよび共変量シフトによるディープニューラルネットワークにおける重み付けの有効性を評価する。 重み付けはトレーニングの早い段階で決定境界に強く影響するが、長期の最適化で消失する。 実世界の流通シフトにおける重み付けの実用性に疑問を投げかける。
  論文  参考訳（メタデータ） (2025-05-06T15:16:38Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models [27.522743690956315]
  本研究では,大規模言語モデル (LLM) のデータ効率性に基づく連続学習のためのSelective attEntion-guided Knowledge Retention法(SEEKR)を提案する。 SEEKRは、よりきめ細かい知識保持のために選択された注目ヘッドに注意蒸留を行う。 LLMのための2つの連続学習ベンチマークの実験結果は、SEEKRが既存の手法よりも性能と効率の両面で優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-09T13:02:36Z)
• TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights [73.9088920210495]
  本稿では,TIS-DPO と呼ばれるトークン単位の重要度サンプリング DPO の目的について,その報酬に基づいて各トークンに重要度を割り当てる手法を提案する。 TIS-DPOは、無害性、有用性アライメントおよび要約タスクにおいて、様々なベースライン手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-10-06T04:03:00Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Rethinking Deep Contrastive Learning with Embedding Memory [58.66613563148031]
  ペアワイズ損失関数は広く研究され、dml(deep metric learning)のパフォーマンスを継続的に改善することが示されている。 本稿では,様々な対損失関数の重み付け戦略を体系的に研究する新しい手法を提案し,組重み付けを埋め込みメモリで再考する。
  論文  参考訳（メタデータ） (2021-03-25T17:39:34Z)
• Semi-Supervised Off Policy Reinforcement Learning [3.48396189165489]
  健康状態の情報はよくコード化されておらず、臨床記録に埋め込まれることが多い。 そこで本研究では,実測結果を持つ小さなラベル付きデータを効率よく活用する半教師付き学習(SSL)手法と,結果サロゲートを持つ大規模ラベル付きデータを提案する。 提案手法は,少なくとも教師付きアプローチと同じくらい効率的であり,またインプテーションモデルの誤特定にも頑健である。
  論文  参考訳（メタデータ） (2020-12-09T00:59:12Z)
• ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
  修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。 多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。 提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-02T00:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。