論文の概要: Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning

• arxiv url: http://arxiv.org/abs/2601.03190v2
• Date: Tue, 13 Jan 2026 11:13:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 14:06:39.199986
• Title: Maximizing Local Entropy Where It Matters: Prefix-Aware Localized LLM Unlearning
• Title（参考訳）: 局所的エントロピーの最大化: 固定認識型LLMアンラーニング
• Authors: Naixin Zhai, Pengyang Shao, Binbin Zheng, Yonghui Yang, Fei Shen, Long Bai, Xun Yang,
• Abstract要約: 本研究では,時間的・語彙的両面にわたる局所的なエントロピー目標によって駆動されるPALU(Prefix-Localized Unlearning)を提案する。 PALUは、最先端のベースラインに比べて、忘れることの有効性と実用性を維持するのに優れている。
• 参考スコア（独自算出の注目度）: 15.968499313464408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine unlearning aims to forget sensitive knowledge from Large Language Models (LLMs) while maintaining general utility. However, existing approaches typically treat all tokens in a response indiscriminately and enforce uncertainty over the entire vocabulary. This global treatment results in unnecessary utility degradation and extends optimization to content-agnostic regions. To address these limitations, we propose PALU (Prefix-Aware Localized Unlearning), a framework driven by a local entropy maximization objective across both temporal and vocabulary dimensions. PALU reveals that (i) suppressing the sensitive prefix alone is sufficient to sever the causal generation link, and (ii) flattening only the top-$k$ logits is adequate to maximize uncertainty in the critical subspace. These findings allow PALU to avoid redundant optimization across the full vocabulary and parameter space while minimizing collateral damage to general model performance. Extensive experiments validate that PALU achieves superior forgetting efficacy and utility preservation compared to state-of-the-art baselines.
• Abstract（参考訳）: 機械学習の目的は、汎用性を維持しながら、Large Language Models(LLMs)からの繊細な知識を忘れることである。 しかし、既存のアプローチは一般的に全てのトークンを無差別に扱い、語彙全体の不確実性を強制する。 このグローバルな処理は、不要なユーティリティ劣化をもたらし、コンテンツに依存しない領域に最適化を拡張する。 これらの制約に対処するため,時間的および語彙的両面にわたる局所エントロピー最大化目標によって駆動されるPALU(Prefix-Aware Localized Unlearning)を提案する。 PALUが明らかに 一 因果生成リンクを断ち切るのに、繊細な接頭辞のみを抑えるのに十分である。 (ii) 臨界部分空間における不確実性を最大化するために、トップ$k$ロジットのみを平坦化することは十分である。 これらの結果から,PALUは,汎用モデルの性能に対する副次的ダメージを最小限に抑えつつ,全語彙およびパラメータ空間の冗長な最適化を回避できることがわかった。 広汎な実験により,PALUは最先端のベースラインと比較して,忘れることの有効性と有効性を維持することが確認された。

関連論文リスト

• BandPO: Bridging Trust Regions and Ratio Clipping via Probability-Aware Bounds for LLM Reinforcement Learning [49.25750348525603]
  BandPOは、信頼領域を動的で確率対応のクリッピング間隔に投影する統一理論演算子であるBandに取って代わる。 BandPOはカノニカルクリッピングやClip-Higherより一貫して優れ,エントロピー崩壊の軽減が図られている。
  論文  参考訳（メタデータ） (2026-03-05T08:03:05Z)
• LFPO: Likelihood-Free Policy Optimization for Masked Diffusion Models [48.68246945083386]
  Likelihood-Free Policy Optimization (LFPO) は、ベクトル場フローの概念を離散トークン空間にマッピングするネイティブフレームワークである。 LFPOは幾何速度補正としてアライメントを定式化し、対照的な更新によって直接対流を最適化する。 実験によると、LFPOはコードと推論ベンチマークの最先端のベースラインを上回るだけでなく、拡散ステップの削減によって推論を約20%加速する。
  論文  参考訳（メタデータ） (2026-03-02T07:42:55Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• Refine and Purify: Orthogonal Basis Optimization with Null-Space Denoising for Conditional Representation Learning [34.87088239089728]
  条件表現学習は、カスタマイズされたタスクのための基準固有の特徴を抽出することを目的としている。 適応直交基底最適化(AOBO)とNull-Space Denoising Projection(NSDP)を統合した新しいフレームワークOD-CRLを提案する。 カスタマイズされたクラスタリング、カスタマイズされた分類、カスタマイズされた検索タスクによる実験は、OD-CRLがより優れた一般化を備えた新しい最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-02-05T09:14:44Z)
• Hi-ZFO: Hierarchical Zeroth- and First-Order LLM Fine-Tuning via Importance-Guided Tensor Selection [4.808936079900314]
  FO勾配をZO推定と相乗化するためにtextbfHi-ZFO (textbfHierarchical textbfZeroth- and textbfFirst-textbfOrder optimization) を提案する。 また,Hi-ZFOはトレーニング時間を大幅に短縮しつつ,優れた性能を実現していることを示す。
  論文  参考訳（メタデータ） (2026-01-09T03:20:54Z)
• Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
  顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。 過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
  論文  参考訳（メタデータ） (2025-12-22T04:30:11Z)
• FedLoDrop: Federated LoRA with Dropout for Generalized LLM Fine-tuning [65.26899091946417]
  大規模言語モデル(LLM)は、特定のタスクに汎用モデルを適用するために不可欠である。 本稿では,FedLoDropを用いたFederated LoRAを提案する。FedLoDropは,Federated LoRAのトレーニング可能な行列の行と列にドロップアウトを適用する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-14T02:40:45Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• LOBG:Less Overfitting for Better Generalization in Vision-Language Model [19.890629892640206]
  視覚言語モデルのためのLOBGというフレームワークを提案する。 私たちはCLIPを使用して、オーバーフィッティングを引き起こす可能性のあるきめ細かいフォアグラウンド情報をフィルタリングし、基本的な視覚概念でプロンプトを導く。 提案手法は,最先端手法と比較して,一般化能力を大幅に向上し,過度な適合を緩和する。
  論文  参考訳（メタデータ） (2024-10-14T08:06:21Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• SparseLLM: Towards Global Pruning for Pre-trained Language Models [12.057369029549534]
  本研究では,グローバルプルーニングプロセスを再定義する新しいフレームワークであるSparseLLMを提案する。 SparseLLMのアプローチは、LLMをモジュラ関数の連鎖として概念化し、問題の分解に補助変数を利用する。 高いスパーシティ・レシエーションにおいて、特に顕著なパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-02-28T00:09:07Z)
• Realistic Unsupervised CLIP Fine-tuning with Universal Entropy Optimization [101.08992036691673]
  本稿では,未知のクラスにおける配布外サンプルの存在を考慮し,教師なしの微調整シナリオについて考察する。 特に,分布外検出と既知のクラスに関連するインスタンスの認識を同時に強化することに注力する。 我々はUniversal Entropy Optimization(UEO)と呼ばれるシンプルで効率的で効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-24T16:47:17Z)
• Submodular Reinforcement Learning [38.40138241424851]
  強化学習(RL)では、状態の報酬は通常加法的と見なされ、マルコフの仮定に従って、それらは以前に訪れた状態に対して$textitindependent$である。 カバー範囲制御、実験設計、情報経路計画といった多くの重要な応用において、報酬は自然にリターンを減少させ、すなわち、それらの価値は以前に訪れた同様の状態から減少する。 減少するリターンをキャプチャするサブモジュール集合関数をモデルとした,より汎用的で非付加的(かつ履歴に依存しない)報酬を最適化するパラダイムである$textitsubmodular RL$ (SubRL)を提案する。
  論文  参考訳（メタデータ） (2023-07-25T09:46:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。