論文の概要: Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning

• arxiv url: http://arxiv.org/abs/2605.05909v1
• Date: Thu, 07 May 2026 09:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.658824
• Title: Null Space Constrained Contrastive Visual Forgetting for MLLM Unlearning
• Title（参考訳）: MLLMアンラーニングのためのNull Space Constrained Contrastive Visual Forgetting
• Authors: Yuhang Wang, Zhenxing Niu, Haoxuan Ji, Guangyu He, Linlin Zhang, Haichang Gao,
• Abstract要約: 非ターゲットの視覚的知識とすべてのテキスト的知識を保存しながら、ターゲットの視覚的知識を忘れることを目的としたMLLMアンラーニング手法を導入する。 まず,対象の視覚的知識と保持された視覚的知識とを分離するコントラストビジュアルフォッティング(CVF)機構を提案する。 第二に、保持された知識に関連するヌル空間を特定し、この空間内での未学習プロセスを制約することにより、知識保持の劣化を著しく軽減する。
• 参考スコア（独自算出の注目度）: 22.667378623339527
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The core challenge of machine unlearning is to strike a balance between target knowledge removal and non-target knowledge retention. In the context of Multimodal Large Language Models (MLLMs), this challenge becomes even more pronounced, as knowledge is further divided into visual and textual modalities that are tightly intertwined. In this paper, we introduce an MLLM unlearning approach that aims to forget target visual knowledge while preserving non-target visual knowledge and all textual knowledge. Specifically, we freeze the LLM backbone and achieve unlearning by fine-tuning the visual module. First, we propose a Contrastive Visual Forgetting (CVF) mechanism to separate target visual knowledge from retained visual knowledge, guiding the representations of target visual concepts toward appropriate regions in the feature space. Second, we identify the null space associated with retained knowledge and constrain the unlearning process within this space, thereby significantly mitigating degradation in knowledge retention. Third, beyond static unlearning scenarios, we extend our approach to continual unlearning, where forgetting requests arrive sequentially. Extensive experiments across diverse benchmarks demonstrate that our approach achieves a strong balance between effective forgetting and robust knowledge retention.
• Abstract（参考訳）: 機械学習における中核的な課題は、ターゲット知識の除去とターゲット知識の保持のバランスを取ることである。 MLLM(Multimodal Large Language Models)の文脈では、知識がより視覚的およびテキスト的モダリティに分割されるため、この課題はさらに顕著になる。 本稿では,非対象の視覚的知識とすべてのテキスト的知識を保存しながら,対象の視覚的知識を忘れることを目的としたMLLMアンラーニング手法を提案する。 具体的には、LLMバックボーンを凍結し、視覚モジュールを微調整して学習を未学習にする。 まず,対象の視覚的知識と保持された視覚的知識を分離し,特徴空間内の適切な領域に向けて,対象の視覚的概念の表現を誘導するコントラシティブ・ビジュアル・フォッティング(CVF)機構を提案する。 第二に、保持された知識に関連するヌル空間を特定し、この空間内の未学習プロセスを制約することにより、知識保持の劣化を著しく軽減する。 第3に、静的なアンラーニングのシナリオを超えて、リクエストを忘れることが連続的なアンラーニングへとアプローチを拡張します。 多様なベンチマークにわたる大規模な実験により、我々の手法は効果的な忘れ忘れと堅牢な知識保持のバランスを保っていることが証明された。

関連論文リスト

• KUDA: Knowledge Unlearning by Deviating Representation for Large Language Models [26.418820118903852]
  大規模言語モデル(LLM)は、多種多様なコーパスの事前学習を通じて大量の知識を得る。 LLMのアンラーニングは、トレーニングデータにおける機密性、著作権、有害なコンテンツに関連するリスクを減らすための有望なテクニックである。 本研究では,LLMの知識レベルでの効果的な学習を実現するために,Deviating representAtion (KUDA) を用いた知識未学習を提案する。
  論文  参考訳（メタデータ） (2026-02-22T17:16:49Z)
• AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models [63.05306474002547]
  を強制する規制フレームワークは、機械学習の必要性を喚起します。 AUVICはMLLMのための新しい視覚概念アンラーニングフレームワークである。 AUVICは,非ターゲット概念の性能劣化を最小限に抑えつつ,最先端の目標忘れ率を実現していることを示す。
  論文  参考訳（メタデータ） (2025-11-14T13:35:32Z)
• MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
  MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。 逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-05T14:20:17Z)
• Concept Unlearning in Large Language Models via Self-Constructed Knowledge Triplets [20.968820590988333]
  本研究では,大規模言語モデル(LLM)のアンラーニングの新たな要件として概念アンラーニング(CU)を導入する。 我々は、LLMの内部知識を表現するために知識グラフを活用し、CUを、忘れられるターゲットノードと関連するエッジを取り除くものとして定義する。 本手法は,学習過程とLLMの内部知識表現を整合させることにより,より正確で包括的な概念の除去を可能にする。
  論文  参考訳（メタデータ） (2025-09-19T05:34:45Z)
• COSMOS: Cross-Modality Self-Distillation for Vision Language Pre-training [49.2684130383925]
  視覚言語事前学習のためのCOSMOS: CrOSs-modality Self-distillationを提案する。 新たなテキストクロッピング戦略とクロスアテンションモジュールを自己教師型学習フレームワークに統合する。 さまざまなゼロショットダウンストリームタスクにおいて、以前の強いベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-12-02T18:56:06Z)
• Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
  大規模言語モデル(LLM)の領域における機械学習の研究 このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
  論文  参考訳（メタデータ） (2024-02-13T20:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。