論文の概要: Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2506.00876v1
• Date: Sun, 01 Jun 2025 07:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.689531
• Title: Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning
• Title（参考訳）: 忘れる必要はない: 大規模言語モデルの学習における実用性の変化を制限するための選択的学習
• Authors: Yixin Wan, Anil Ramakrishna, Kai-Wei Chang, Volkan Cevher, Rahul Gupta,
• Abstract要約: 従来のアンラーニングアプローチでは、ターゲットドキュメント内のすべてのトークンを忘れるために、モデルのパラメータを無差別に更新する。 本研究では,選択的アンラーニング(SU)を提案する。これは,不要な情報に関連付けられた,忘れる集合内のトークンの重要なサブセットを識別する。 2つのベンチマークと6つのベースラインのアンラーニングアルゴリズムの実験により、SUは対象の忘れたデータに対して効果的なアンラーニングを達成するだけでなく、保持セットにおけるモデルの実用性を著しく維持することを示した。
• 参考スコア（独自算出の注目度）: 95.53571199301963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) unlearning has recently gained significant attention, driven by the need to remove unwanted information, such as private, sensitive, or copyrighted content, from LLMs. However, conventional unlearning approaches indiscriminately update model parameters to forget all tokens in a target document, including common tokens (e.g., pronouns, prepositions, general nouns) that carry general knowledge. In this paper, we highlight that not every token needs forgetting. We propose Selective Unlearning (SU), which identifies a critical subset of tokens within the forgetting set that is relevant to the unwanted information, and unlearns only those tokens. Experiments on two benchmarks and six baseline unlearning algorithms demonstrate that SU not only achieves effective unlearning on the targeted forget data, but also significantly preserves the model's utility in the retaining set.
• Abstract（参考訳）: 大規模言語モデル(LLM)の未学習は、LLMからプライベート、センシティブ、著作権のあるコンテンツなどの望ましくない情報を取り除く必要性から、近年大きな注目を集めている。 しかし、従来のアンラーニングアプローチでは、一般的な知識を持つ共通トークン(例えば、代名詞、前置詞、一般名詞)を含む、対象文書のすべてのトークンを忘れるために、モデルパラメータを無差別に更新する。 本稿では,すべてのトークンが忘れる必要はないことを強調する。 選択的未学習(Selective Unlearning, SU)を提案する。これは、不要な情報に関連のある忘れられた集合内のトークンの重要なサブセットを識別し、それらのトークンのみを学習する。 2つのベンチマークと6つのベースラインのアンラーニングアルゴリズムの実験により、SUは対象の忘れたデータに対して効果的なアンラーニングを達成するだけでなく、保持セットにおけるモデルの実用性を著しく維持することを示した。

関連論文リスト

• Not All Tokens Are Meant to Be Forgotten [13.060635265281864]
  大規模言語モデル(LLM)は、優れた人間レベルの言語理解、推論、意思決定能力を示す。 LLMは、プライベートや著作権のあるコンテンツなどの望ましくない情報を記憶し、プライバシーや法的懸念を生じさせる傾向がある。
  論文  参考訳（メタデータ） (2025-06-03T17:59:05Z)
• GUARD: Generation-time LLM Unlearning via Adaptive Restriction and Detection [36.38245533018162]
  大規模言語モデル(LLM)は、多様なドメインにまたがる膨大な知識を記憶する強力な能力を示している。 既存の未学習の取り組みは、通常、モデルを忘れデータ、データ保持、キャリブレーションモデルといったリソースで微調整する。 本稿では,LLM生成時の動的アンラーニングを実現するフレームワークであるAdaptive Restriction and Detection (GUARD) による生成時アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-05-19T16:26:58Z)
• STORE: Streamlining Semantic Tokenization and Generative Recommendation with A Single LLM [59.08493154172207]
  本稿では,意味的トークン化と生成的レコメンデーションプロセスを合理化する統合フレームワークを提案する。 我々は,意味的トークン化をテキスト・ツー・ケントタスクとして定式化し,生成的推薦をトークン・ツー・ケントタスクとして,トークン・ツー・ケント・コンストラクションタスクとテキスト・ツー・ケント補助タスクで補足する。 これらのタスクはすべて生成的な方法でフレーム化され、単一の大規模言語モデル(LLM)バックボーンを使用してトレーニングされる。
  論文  参考訳（メタデータ） (2024-09-11T13:49:48Z)
• MUSE: Machine Unlearning Six-Way Evaluation for Language Models [109.76505405962783]
  言語モデル(LM)は、プライベートおよび著作権のあるコンテンツを含む大量のテキストデータに基づいて訓練される。 総合的な機械学習評価ベンチマークであるMUSEを提案する。 人気のある8つのアンラーニングアルゴリズムがハリー・ポッターの本やニュース記事をいかに効果的に解き放つかをベンチマークする。
  論文  参考訳（メタデータ） (2024-07-08T23:47:29Z)
• TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
  Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。 トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。 未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:12Z)
• Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
  自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。 SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
  論文  参考訳（メタデータ） (2023-05-24T16:00:54Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。