論文の概要: Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens

• arxiv url: http://arxiv.org/abs/2604.17785v1
• Date: Mon, 20 Apr 2026 04:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.687535
• Title: Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens
• Title（参考訳）: 何が重要か忘れる, 残りを保て - インフォーマティブ・トークンの選択的アンラーニング
• Abstract要約: トークンレベルの未学習正規化器として,Entropy-Guided Token Weighting (ETW)を提案する。 ETWは、予測分布のエントロピーをトークン情報性のプロキシとして利用する。 情報トークンはエントロピーが高い傾向を示す一方、構造トークンはエントロピーが低い傾向を示す。
• 参考スコア（独自算出の注目度）: 9.36751822006717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlearning in large language models (LLMs) has emerged as a promising safeguard against adversarial behaviors. When the forgetting loss is applied uniformly without considering token-level semantic importance, model utility can be unnecessarily degraded. Recent studies have explored token-wise loss regularizers that prioritize informative tokens, but largely rely on ground-truth confidence or external linguistic parsers, which limits their ability to capture contextual information or the model's overall predictive state. Intuitively, function words like "the" primarily serve syntactic roles and are highly predictable with little ambiguity, but informative words admit multiple plausible alternatives with greater uncertainty. Based on this intuition, we propose Entropy-guided Token Weighting (ETW), a token-level unlearning regularizer that uses entropy of the predictive distribution as a proxy for token informativeness. We demonstrate that informative tokens tend to have higher entropy, whereas structural tokens tend to have lower entropy. This behavior enables ETW to achieve more effective unlearning while better preserving model utility than existing token-level approaches.
• Abstract（参考訳）: 大規模言語モデル(LLM)における未学習は、敵の行動に対する有望な保護として現れている。 トークンレベルのセマンティックな重要性を考慮せずに、忘れる損失を均一に適用する場合、モデルユーティリティは不要に劣化させることができる。 近年の研究では、情報的トークンを優先するトークンワイド・ロス・レギュレータについて検討されているが、多くの場合は、文脈情報やモデル全体の予測状態を捉える能力を制限する、地道的信頼や外部言語パーサに依存している。 直感的には、"the"のような関数語は主に統語的役割を担い、曖昧さがほとんどないほど高い予測性を持つが、情報的な単語はより不確実な複数の可算的な選択肢を認める。 この直感に基づいて,予測分布のエントロピーを用いたトークンレベルの未学習正規化器であるEntropy-Guided Token Weighting (ETW)を提案する。 情報トークンはエントロピーが高い傾向を示す一方、構造トークンはエントロピーが低い傾向を示す。 この振る舞いにより、ETWは既存のトークンレベルのアプローチよりもモデルの有用性を保ちながら、より効果的な未学習を実現することができる。

関連論文リスト

• Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance [30.72675145829489]
  本稿では,トークンの忘れやすさとモデルパラメータを共同で学習する軽量フレームワークであるAlternating Token-Weighted Unlearning(ATWU)を紹介する。 ATWUは、最先端のトレードオフ、サンプルレベルの方法、確率ベースのトークン重み付け、補助モデルベースのアプローチを実現している。
  論文  参考訳（メタデータ） (2026-06-04T15:56:32Z)
• Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning [5.454773103061359]
  TokenUnlearnはトークンレベルの属性フレームワークで、クリティカルトークンを特定し、選択的にターゲットする。 提案手法は,マスキングによる知識認識信号とエントロピー認識信号を組み合わせて,正確なトークン選択のための重要スコアを得る。
  論文  参考訳（メタデータ） (2026-05-01T02:59:03Z)
• Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning [55.2818264614932]
  RankTunerは確率エントロピーキャリブレーション信号、相対ランクインジケータを導入し、予測分布の下で接地トラストークンのランクと期待ランクを比較する。 逆インジケータはトークン単位の相対尺度として使用され、微調整の目的を再重み付けし、真に未学習のトークンを更新する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:19Z)
• Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models [82.79223371188756]
  CoT(Chain-of-Thought)は、大規模言語モデルを用いた自然言語処理において、高度なタスク解決機能を備えている。 CoTをタンパク質やRNA言語モデルのような非自然言語ドメインに適用することは、まだ不可能である。 生物シークエンスモデルではじめて事前学習を導入し、中間的推論を行えるようにした。
  論文  参考訳（メタデータ） (2025-12-24T05:25:17Z)
• Temporal Predictors of Outcome in Reasoning Language Models [0.0]
  CoT(Chain-of-Thought)パラダイムは、推論のプロキシとしてステップバイステップの合理性の推論を使用する。 難しい問題に対して、予測精度の低下は、選択アーティファクトを浮き彫りにする。 全体として、我々の結果は、推論モデルでは、成功の自己評価はわずか数トークンで現れる傾向にあることを示唆している。
  論文  参考訳（メタデータ） (2025-11-03T08:57:18Z)
• ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
  ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。 自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-21T03:21:04Z)
• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning [95.53571199301963]
  従来のアンラーニングアプローチでは、ターゲットドキュメント内のすべてのトークンを忘れるために、モデルのパラメータを無差別に更新する。 本研究では,選択的アンラーニング(SU)を提案する。これは,不要な情報に関連付けられた,忘れる集合内のトークンの重要なサブセットを識別する。 2つのベンチマークと6つのベースラインのアンラーニングアルゴリズムの実験により、SUは対象の忘れたデータに対して効果的なアンラーニングを達成するだけでなく、保持セットにおけるモデルの実用性を著しく維持することを示した。
  論文  参考訳（メタデータ） (2025-06-01T07:36:45Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。