論文の概要: Unilogit: Robust Machine Unlearning for LLMs Using Uniform-Target Self-Distillation

• arxiv url: http://arxiv.org/abs/2505.06027v1
• Date: Fri, 09 May 2025 13:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.270522
• Title: Unilogit: Robust Machine Unlearning for LLMs Using Uniform-Target Self-Distillation
• Title（参考訳）: Unilogit: 一様ターゲット自己蒸留を用いたLLMのためのロバストマシンの学習
• Authors: Stefan Vasilev, Christian Herold, Baohao Liao, Seyyed Hadi Hashemi, Shahram Khadivi, Christof Monz,
• Abstract要約: 本稿では、大規模言語モデルにおける機械学習のための新しい自己蒸留手法Unilogitを紹介する。 Unilogitはターゲットトークンの均一な確率を達成するためにターゲットロジットを動的に調整する。 公開ベンチマークと社内Eコマースデータセットの実験は、Unilogitが目標を忘れたり維持したりする際の優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 11.473623166484126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Unilogit, a novel self-distillation method for machine unlearning in Large Language Models. Unilogit addresses the challenge of selectively forgetting specific information while maintaining overall model utility, a critical task in compliance with data privacy regulations like GDPR. Unlike prior methods that rely on static hyperparameters or starting model outputs, Unilogit dynamically adjusts target logits to achieve a uniform probability for the target token, leveraging the current model's outputs for more accurate self-distillation targets. This approach not only eliminates the need for additional hyperparameters but also enhances the model's ability to approximate the golden targets. Extensive experiments on public benchmarks and an in-house e-commerce dataset demonstrate Unilogit's superior performance in balancing forget and retain objectives, outperforming state-of-the-art methods such as NPO and UnDIAL. Our analysis further reveals Unilogit's robustness across various scenarios, highlighting its practical applicability and effectiveness in achieving efficacious machine unlearning.
• Abstract（参考訳）: 本稿では、大規模言語モデルにおける機械学習のための新しい自己蒸留手法Unilogitを紹介する。 Unilogitは、GDPRのようなデータプライバシ規則に従う上で重要な課題である、全体的なモデルユーティリティを維持しながら、特定の情報を選択的に忘れることの課題に対処する。 静的なハイパーパラメータや開始モデル出力に依存する従来の方法とは異なり、Unilogitはターゲットトークンの均一な確率を達成するためにターゲットロジットを動的に調整し、現在のモデルの出力をより正確な自己蒸留ターゲットに活用する。 このアプローチは、追加のハイパーパラメータの必要性を取り除くだけでなく、ゴールデンターゲットを近似するモデルの能力も強化する。 公開ベンチマークと社内のEコマースデータセットに関する大規模な実験は、Unilogitが目標を忘れたり維持したりする際の優れたパフォーマンスを示し、NPOやUnDIALのような最先端の手法よりも優れています。 分析により,Unilogitが様々なシナリオにまたがる堅牢性を明らかにし,その実践的適用性と有効性を強調した。

関連論文リスト

• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• AXOLOTL: Fairness through Assisted Self-Debiasing of Large Language Model Outputs [20.772266479533776]
  AXOLOTLはタスクやモデル間で不可知的に動作する新しい後処理フレームワークである。 バイアスを識別し、解像度を提案し、モデルにアウトプットを自己バイアスさせる。 このアプローチは計算コストを最小化し、モデル性能を保存する。
  論文  参考訳（メタデータ） (2024-03-01T00:02:37Z)
• Universal Link Predictor By In-Context Learning on Graphs [27.394215950768643]
  パラメトリックモデルのパターン学習能力とアプローチの一般化性を組み合わせた新しいモデルであるユニバーサルリンク予測器(UniLP)を導入する。 UniLPは、さまざまなグラフをまたいだ接続パターンを自律的に識別するように設計されている。
  論文  参考訳（メタデータ） (2024-02-12T15:52:27Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。