論文の概要: Unlearning Is Not Just Erasing: Temporal Decoupling via Generation Inequality

• arxiv url: http://arxiv.org/abs/2608.23020v1
• Date: Mon, 24 Aug 2026 09:22:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.008386
• Title: Unlearning Is Not Just Erasing: Temporal Decoupling via Generation Inequality
• Title（参考訳）: 非学習は単に時代遅れではない:世代不平等による時間的疎結合
• Abstract要約: ADUは,未学習をトークン消去から文脈的注意経路分離に移行するためのトレーニングベースのフレームワークである。 ADUはTOFUとWMDPベンチマークで評価されたベースラインの中で最強の集計性能を達成している。
• 参考スコア（独自算出の注目度）: 15.115560580671612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) require effective unlearning to address privacy regulations and safety concerns. However, achieving precise forgetting without compromising general utility remains challenging. Existing sequence- and token-level methods penalize target outputs without modeling their context-dependent retrieval paths, which can disrupt linguistic structure or suppress benign knowledge. We present ADU, a fine-grained, training-based framework that shifts unlearning from token erasure to contextual attention-pathway decoupling. Exploiting the functional distinction between local and global attention heads, ADU identifies preplan positions that retrieve persistent sensitive anchors and fixes their candidate paths under the original model. It then trains attention-projection adapters to suppress attention mass along these paths while preserving local-attention structure and retain-set language modeling. Post-training activation exchange tests whether the modified attention-output module transmits the learned forgetting effect. ADU achieves the strongest aggregate performance among evaluated baselines on the TOFU and WMDP benchmarks, including a Forget Quality of (0.93) on TOFU. It preserves 87--98% of model utility (92.9% on average versus 81.9% for baselines) while reducing side effects in benign contexts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プライバシー規制や安全上の懸念に対処するために効果的なアンラーニングを必要とする。 しかし、汎用性を損なうことなく正確に忘れることは依然として困難である。 既存のシーケンスレベルおよびトークンレベルの手法は、文脈に依存した検索経路をモデル化することなく、対象の出力をペナルティ化する。 ADUは、未学習をトークン消去から文脈的注意経路分離に移行するための、きめ細かいトレーニングベースのフレームワークである。 ローカル・アテンション・ヘッドとグローバル・アテンション・ヘッドの機能を区別して、ADUは、永続的なセンシティブ・アンカーを検索し、元のモデルの下でそれらの候補パスを修正するプリプラン・ポジションを特定する。 その後、アテンション・プロジェクション・アダプタを訓練し、これらの経路に沿ったアテンション・マスを抑えつつ、局所アテンション構造と保持言語モデリングを保持する。 学習後のアクティベーション交換は、修正された注目出力モジュールが学習された忘れ効果を伝達するかどうかをテストする。 ADU はTOFU と WMDP のベンチマークで評価されたベースラインの中で,TOFU の Forget Quality of (0.93) を含む最強の集計性能を達成している。 モデルユーティリティの87--98%(平均で92.9%、ベースラインで81.9%)を維持し、良質な文脈での副作用を減らす。

関連論文リスト

• LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning [30.67510673327925]
  LACUNA は,基礎的パラメータレベルのローカライゼーションを用いた最初の未学習テストベッドである。 LACUNAは攻撃に対する強い消去と堅牢性を達成し、正確な未学習の重要性を強調した。
  論文  参考訳（メタデータ） (2026-07-02T17:59:52Z)
• Measuring the Depth of LLM Unlearning via Activation Patching [3.590648050085134]
  大規模言語モデル(LLM)のアンラーニングは、プライバシ保護とAI安全性にとって重要なポストホックメカニズムとして登場した。 既存の出力レベルのメトリクスは、この知識が内部表現から回復可能であることを検出できない。 本研究では,アクティベーションパッチによるアンラーニングの力学深さを定量化する指標として,Unlearning Depth Score (UDS)を提案する。
  論文  参考訳（メタデータ） (2026-05-23T14:52:28Z)
• STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning [80.78140312980484]
  我々はSTRIDEと呼ばれる言語駆動の段階的軌道リダイレクトを提案する。 我々は、結果に基づく報酬のみを使用して生成器と生成検証器を共同で訓練し、外部アノテーションを除去する。 様々な推論ベンチマークの実験では、STRIDEが最先端のベースラインを大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T11:04:31Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
  本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。 提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
  論文  参考訳（メタデータ） (2026-01-15T16:28:14Z)
• A Contrastive Learning-Guided Confident Meta-learning for Zero Shot Anomaly Detection [17.73056562717683]
  CoZADは、新しいゼロショット異常検出フレームワークである。 ソフト・インテリジェンス・ラーニングとメタラーニングとコントラスト的特徴表現を統合している。 7つの産業ベンチマークのうち6つで既存の手法を上回ります。
  論文  参考訳（メタデータ） (2025-08-25T09:27:31Z)
• ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining [53.893792844055106]
  大規模言語モデルの事前学習は計算集約的であるが、多くのトークンが学習にわずかに寄与し、非効率になる。 Selective Efficient Language Modelingは、オンライントークンレベルのバッチ選択を行うことで、トレーニング効率と分散ロバスト性を改善するリスク認識アルゴリズムである。 GPT-2プレトレーニング実験の結果、ESLMはベースラインに比べて複雑度と下流性能の両面を維持・改善しながら、トレーニングFLOPを著しく低減することが示された。
  論文  参考訳（メタデータ） (2025-05-26T12:23:26Z)
• Learning to Focus: Context Extraction for Efficient Code Vulnerability Detection with Language Models [16.23854525619129]
  言語モデル(LM)は脆弱性検出の約束を示すが、脆弱で不確実な脆弱性位置のため、長く現実世界のコードに苦労する。 本研究では、LMに基づく脆弱性検出を学習し、センシティブなコンテキストを選択するモデルに依存しないフレームワークであるFocusVulを提案する。
  論文  参考訳（メタデータ） (2025-05-23T04:41:54Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。