論文の概要: CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.14763v1
• Date: Sat, 10 Oct 2026 09:37:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.100407
• Title: CUSE: Fine-Grained Multimodal Unlearning with Counterfactual Guidance and On-Policy Self-Distillation
• Title（参考訳）: CUSE: ファイングラインド・マルチモーダル・アンラーニング : ファイングラインド・マルチモーダル・アンラーニング
• Abstract要約: CUSEは、大規模言語モデルのための非学習フレームワークである。 これは、現在のポリシーからサンプリングされた応答に対するトークンレベルの忘れと保持ターゲットを蒸留する。 MLLMU-Benchでは、CUSEはリザーブセットのROUGE-Lを33.6%削減し、保持セットのROUGE-Lは最強のベースラインよりも1.2%高い。
• 参考スコア（独自算出の注目度）: 38.60056414101559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) can reproduce sensitive, copyrighted, or unsafe information from their training data. Effective unlearning must remove target information while preserving non-target content, even within the same response. Existing methods typically apply uniform forgetting objectives to complete responses and rely on fixed, off-policy supervision, resulting in coarse token control and misalignment with the model's current behavior. We propose CUSE, a Counterfactual-guided Unlearning framework via on-policy Self-distillation for multimodal large language models. It first constructs counterfactual inputs by removing target-related evidence and uses the resulting changes in token probabilities to identify which tokens require stronger forgetting. It then distills token-level forgetting and retention targets on responses sampled from the current policy, with a frozen copy of the original model serving as the teacher model augmented with the corresponding forgetting- and retention-oriented privileged contexts. This design jointly determines what to forget and what to preserve. On MLLMU-Bench, CUSE reduces forget-set ROUGE-L by 33.6% while achieving 1.2% higher retain-set ROUGE-L than the strongest baseline.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、トレーニングデータから機密性、著作権、安全でない情報を再現することができる。 効果的なアンラーニングは、同じ応答内であっても、ターゲット外のコンテンツを保持しながら、ターゲット情報を削除しなければならない。 既存の方法は、通常、一様に忘れる目的を完全な応答に適用し、固定された、非政治的な監督に依存し、結果として、モデルの現在の振る舞いに粗いトークン制御と不正な調整をもたらす。 マルチモーダルな大規模言語モデルに対するオンライン自己蒸留による対実的指導型アンラーニングフレームワークであるCUSEを提案する。 まず、ターゲットに関連する証拠を取り除き、結果のトークン確率の変化を利用して、どのトークンがより強い忘れ方を必要とするかを識別する。 次に、現在のポリシーからサンプリングされた応答に対するトークンレベルの忘れと保持ターゲットを蒸留し、対応する忘れと保持指向の特権コンテキストを付加した教師モデルとして機能するオリジナルのモデルの凍結コピーを蒸留する。 この設計は、何を忘れるか、何を保存するかを共同で決定する。 MLLMU-Benchでは、CUSEはリザーブセットのROUGE-Lを33.6%削減し、保持セットのROUGE-Lは最強のベースラインよりも1.2%高い。

関連論文リスト

• Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models [24.764929711765944]
  マシンアンラーニングは、汎用性を維持しながら、スクラッチからリトレーニングすることなく、指定された知識を除去しようとする。 既存のプライバシ指向のベンチマークでは、主にプロファイルレベルの削除が採用されているが、実用的な要求はよりきめ細かいものが多い。 属性レベルのMLLMアンラーニングをよりきめ細かなタスクとして導入し、長文、数値、短文ターゲット、複数忘れ率、多様な質問タイプにまたがるベンチマークを構築した。 評価の結果,対象属性と保持属性が識別特異性および視覚的証拠を共有していることが判明した。
  論文  参考訳（メタデータ） (2026-08-02T05:23:44Z)
• SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion [39.17638540496959]
  SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) は、キーインサイトに基づいて構築された、保持セットなしのアンラーニング手法である。 高情報トークンはモデルの記憶された知識に集中し、低情報トークンは一般的な言語能力を反映する。 SHREDは再学習攻撃やメンバシップ推論攻撃に対して堅牢であり、連続的なアンラーニングの実行が多数あった後も安定したユーティリティを維持している。
  論文  参考訳（メタデータ） (2026-05-08T09:25:18Z)
• CURE:Circuit-Aware Unlearning for LLM-based Recommendation [34.80441850684431]
  本稿では,モデルコンポーネントを機能的に異なるサブセットに分解し,それを選択的に更新する回路認識アンラーニングフレームワークを提案する。 実世界のデータセットの実験では、我々のアプローチは既存のベースラインよりも効果的なアンラーニングを実現している。
  論文  参考訳（メタデータ） (2026-04-04T23:13:55Z)
• MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
  本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。 MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-02-19T05:20:31Z)
• Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint [28.25159814956888]
  大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
  論文  参考訳（メタデータ） (2025-08-28T05:45:40Z)
• GUARD: Generation-time LLM Unlearning via Adaptive Restriction and Detection [36.38245533018162]
  大規模言語モデル(LLM)は、多様なドメインにまたがる膨大な知識を記憶する強力な能力を示している。 既存の未学習の取り組みは、通常、モデルを忘れデータ、データ保持、キャリブレーションモデルといったリソースで微調整する。 本稿では,LLM生成時の動的アンラーニングを実現するフレームワークであるAdaptive Restriction and Detection (GUARD) による生成時アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-05-19T16:26:58Z)
• UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
  ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。 これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。 本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:51:10Z)
• CLIPErase: Efficient Unlearning of Visual-Textual Associations in CLIP [57.49519639951552]
  CLIPEraseは視覚的・テキスト的関連を選択的に忘れる新しいアプローチである。 CIFAR-100とFlickr30Kデータセットの実験は、CLIPEraseがマルチモーダルサンプルのゼロショットタスクにおける指定された関連性を効果的に忘れていることを示している。
  論文  参考訳（メタデータ） (2024-10-30T17:51:31Z)
• Bilateral Dependency Optimization: Defending Against Model-inversion Attacks [61.78426165008083]
  本稿では,モデル反転攻撃に対する二元的依存性最適化(BiDO)戦略を提案する。 BiDOは、さまざまなデータセット、分類器、MI攻撃に対する最先端の防御性能を達成する。
  論文  参考訳（メタデータ） (2022-06-11T10:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。