論文の概要: Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

• arxiv url: http://arxiv.org/abs/2604.17785v1
• Date: Mon, 20 Apr 2026 04:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.687535
• Title: Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens
• Title（参考訳）: 何が重要か忘れる, 残りを保て - インフォーマティブ・トークンの選択的アンラーニング
• Authors: Seunghee Koh, Sunghyun Baek, Youngdong Kim, Junmo Kim,
• Abstract要約: トークンレベルの未学習正規化器として,Entropy-Guided Token Weighting (ETW)を提案する。 ETWは、予測分布のエントロピーをトークン情報性のプロキシとして利用する。 情報トークンはエントロピーが高い傾向を示す一方、構造トークンはエントロピーが低い傾向を示す。
• 参考スコア（独自算出の注目度）: 9.36751822006717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlearning in large language models (LLMs) has emerged as a promising safeguard against adversarial behaviors. When the forgetting loss is applied uniformly without considering token-level semantic importance, model utility can be unnecessarily degraded. Recent studies have explored token-wise loss regularizers that prioritize informative tokens, but largely rely on ground-truth confidence or external linguistic parsers, which limits their ability to capture contextual information or the model's overall predictive state. Intuitively, function words like "the" primarily serve syntactic roles and are highly predictable with little ambiguity, but informative words admit multiple plausible alternatives with greater uncertainty. Based on this intuition, we propose Entropy-guided Token Weighting (ETW), a token-level unlearning regularizer that uses entropy of the predictive distribution as a proxy for token informativeness. We demonstrate that informative tokens tend to have higher entropy, whereas structural tokens tend to have lower entropy. This behavior enables ETW to achieve more effective unlearning while better preserving model utility than existing token-level approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)における未学習は、敵の行動に対する有望な保護として現れている。 トークンレベルのセマンティックな重要性を考慮せずに、忘れる損失を均一に適用する場合、モデルユーティリティは不要に劣化させることができる。 近年の研究では、情報的トークンを優先するトークンワイド・ロス・レギュレータについて検討されているが、多くの場合は、文脈情報やモデル全体の予測状態を捉える能力を制限する、地道的信頼や外部言語パーサに依存している。 直感的には、"the"のような関数語は主に統語的役割を担い、曖昧さがほとんどないほど高い予測性を持つが、情報的な単語はより不確実な複数の可算的な選択肢を認める。 この直感に基づいて,予測分布のエントロピーを用いたトークンレベルの未学習正規化器であるEntropy-Guided Token Weighting (ETW)を提案する。 情報トークンはエントロピーが高い傾向を示す一方、構造トークンはエントロピーが低い傾向を示す。 この振る舞いにより、ETWは既存のトークンレベルのアプローチよりもモデルの有用性を保ちながら、より効果的な未学習を実現することができる。

関連論文リスト

• Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning [55.2818264614932]
  RankTunerは確率エントロピーキャリブレーション信号、相対ランクインジケータを導入し、予測分布の下で接地トラストークンのランクと期待ランクを比較する。 逆インジケータはトークン単位の相対尺度として使用され、微調整の目的を再重み付けし、真に未学習のトークンを更新する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:19Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning [95.53571199301963]
  従来のアンラーニングアプローチでは、ターゲットドキュメント内のすべてのトークンを忘れるために、モデルのパラメータを無差別に更新する。 本研究では,選択的アンラーニング(SU)を提案する。これは,不要な情報に関連付けられた,忘れる集合内のトークンの重要なサブセットを識別する。 2つのベンチマークと6つのベースラインのアンラーニングアルゴリズムの実験により、SUは対象の忘れたデータに対して効果的なアンラーニングを達成するだけでなく、保持セットにおけるモデルの実用性を著しく維持することを示した。
  論文  参考訳（メタデータ） (2025-06-01T07:36:45Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。