論文の概要: Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2605.00364v1
• Date: Fri, 01 May 2026 02:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.830068
• Title: Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning
• Title（参考訳）: 重要なことの学習:精密言語モデル学習におけるトークンレベル属性
• Authors: Jiawei Wu, DouDou Zhou,
• Abstract要約: TokenUnlearnはトークンレベルの属性フレームワークで、クリティカルトークンを特定し、選択的にターゲットする。 提案手法は,マスキングによる知識認識信号とエントロピー認識信号を組み合わせて,正確なトークン選択のための重要スコアを得る。
• 参考スコア（独自算出の注目度）: 5.454773103061359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine unlearning has emerged as a critical capability for addressing privacy, safety, and regulatory concerns in large language models (LLMs). Existing methods operate at the sequence level, applying uniform updates across all tokens despite only a subset encoding the knowledge targeted for removal. This introduces gradient noise, degrades utility, and leads to suboptimal forgetting. We propose TokenUnlearn, a token-level attribution framework that identifies and selectively targets critical tokens. Our approach combines knowledge-aware signals via masking, and entropy-aware signals to yield importance scores for precise token selection. We develop two complementary strategies: hard selection, applying unlearning only to high-importance tokens, and soft weighting, modulating gradient contributions based on importance scores. Both extend existing methods to token-level variants. Theoretical analysis shows token-level selection improves gradient signal-to-noise ratio. Experiments on TOFU and WMDP benchmarks across three model architectures demonstrate consistent improvements over sequence-level baselines in both forgetting effectiveness and utility preservation.
• Abstract（参考訳）: 機械学習は、大きな言語モデル(LLM)のプライバシ、安全性、規制問題に対処するための重要な機能として登場した。 既存のメソッドはシーケンスレベルで動作し、削除対象の知識を符号化するサブセットに留まらず、すべてのトークンを均一に更新する。 これは勾配ノイズを導入し、実用性を低下させ、最適下界を忘れる原因となる。 本稿ではトークンレベルの属性フレームワークであるTokenUnlearnを提案する。 提案手法は,マスキングによる知識認識信号とエントロピー認識信号を組み合わせて,正確なトークン選択のための重要スコアを得る。 ハードセレクション, 重要トークンのみに未学習を適用すること, ソフト重み付け, 重要スコアに基づく勾配寄与の調整という2つの相補的戦略を開発した。 どちらも既存のメソッドをトークンレベルの変種に拡張している。 理論的解析により、トークンレベルの選択は勾配信号-雑音比を改善する。 3つのモデルアーキテクチャにわたるTOFUとWMDPベンチマークの実験は、効率と実用性の両方を忘れることにおいて、シーケンスレベルのベースラインよりも一貫した改善を示す。

関連論文リスト

• ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning [51.133569963553576]
  ssTokenは自己変調されたセマンティックなToken Selectionアプローチである。 自己変調の選択とセマンティック・アウェアの選択の両方が、フルデータの微調整よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-10-21T03:21:04Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation [79.22388408461458]
  我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
  論文  参考訳（メタデータ） (2025-06-16T08:28:19Z)
• Multi-Level Optimal Transport for Universal Cross-Tokenizer Knowledge Distillation on Language Models [81.74999702045339]
  マルチレベル最適輸送(MultiLevelOT)は、普遍的なクロストケナイザー知識蒸留のための最適な輸送を促進する新しいアプローチである。 本手法は,教師と生徒のロジット分布をトークンレベルとシーケンスレベルの両方で整列する。 トークンレベルでは、MultiLevelOTはグローバルとローカルの両方の情報を統合する。
  論文  参考訳（メタデータ） (2024-12-19T04:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。