論文の概要: Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning
- arxiv url: http://arxiv.org/abs/2511.20196v1
- Date: Tue, 25 Nov 2025 11:22:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.423042
- Title: Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning
- Title（参考訳）: 選択型多モーダル大言語モデル学習のための良性記憶獲得に向けて
- Authors: Zhen Zeng, Leijiang Gu, Zhangling Duan, Feng Li, Zenglin Shi, Cees G. M. Snoek, Meng Wang,
- Abstract要約: MLLM(Multimodal Large Language Models)は優れた能力を発揮するが、プライバシーに敏感な情報を不注意に記憶することができる。
既存の未学習の手法は、しばしばモデルの一般的な画像理解性能を劣化させるため、良心的な忘れを達成できない。
本稿では, メモリ領域のメモリ領域への忘れを抑えつつ, 全体的な機能を維持するSculpted Forgetting Adapter (SMFA)を提案する。
- 参考スコア（独自算出の注目度）: 49.274436951541425
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) achieve remarkable capabilities but can inadvertently memorize privacy-sensitive information. Although existing unlearning methods can remove such knowledge, they fail to achieve benign forgetting because they often degrade the model's general image understanding performance. To address this, we propose the Sculpted Memory Forgetting Adapter (SMFA), which confines forgetting to targeted memory regions while preserving overall capabilities. SMFA first fine-tunes the model to replace sensitive responses with refusals, yielding a memory forgetting adapter, and then applies a retaining anchor-guided masking mechanism to prevent interference with unrelated knowledge and understanding ability. To systematically evaluate selective MLLM unlearning, we introduce S-MLLMUn Bench, the first benchmark designed to jointly assess the removal of sensitive knowledge and retention of general visual understanding. Extensive experiments show that, unlike prior methods, SMFA achieves precise and controllable unlearning while maintaining the model's foundational image understanding.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は優れた能力を発揮するが、プライバシーに敏感な情報を不注意に記憶することができる。
既存の未学習の手法はそのような知識を排除できるが、一般的な画像理解性能を劣化させることが多いため、良心的な忘れ事を達成できない。
そこで本稿では,Sculpted Forgetting Adapter (SMFA)を提案する。
SMFAはまず、感度の高い応答を拒絶に置き換え、メモリを忘れるアダプタを生成し、その後、無関係な知識や理解能力への干渉を防ぐためにアンカー誘導マスキング機構を適用した。
選択的MLLMアンラーニングを体系的に評価するために,センシティブな知識の除去と一般的な視覚的理解の維持を共同で評価する最初のベンチマークであるS-MLLMUn Benchを導入する。
広範囲な実験により、SMFAは従来の手法とは異なり、モデルの基礎的なイメージ理解を維持しながら正確で制御可能な未学習を実現する。
関連論文リスト
- KUDA: Knowledge Unlearning by Deviating Representation for Large Language Models [26.418820118903852]
大規模言語モデル(LLM)は、多種多様なコーパスの事前学習を通じて大量の知識を得る。
LLMのアンラーニングは、トレーニングデータにおける機密性、著作権、有害なコンテンツに関連するリスクを減らすための有望なテクニックである。
本研究では,LLMの知識レベルでの効果的な学習を実現するために,Deviating representAtion (KUDA) を用いた知識未学習を提案する。
論文 参考訳（メタデータ） (2026-02-22T17:16:49Z) - MeGU: Machine-Guided Unlearning with Target Feature Disentanglement [73.49657372882082]
本稿では,概念意識の再調整を通じて学習をガイドする新しいフレームワークを提案する。
MeGUは制御的かつ選択的に忘れることを可能にし、アンダーアンラーニングとオーバーアンラーニングの両方を効果的に緩和する。
論文 参考訳（メタデータ） (2026-02-19T05:20:31Z) - Nested Learning: The Illusion of Deep Learning Architectures [57.41377373511876]
我々はNested Learning(NL)と呼ばれる新しい学習パラダイムを提案する。
表現的一般化は、実際には、深い記憶と/またはより強力な学習規則を持つ一般化である。
本稿では、長期記憶の伝統的な視点を一般化するメモリシステムのための新しい連続体を提案する。
論文 参考訳（メタデータ） (2025-12-31T07:59:43Z) - MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。
逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。
LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2025-10-05T14:20:17Z) - MemOS: A Memory OS for AI System [116.87568350346537]
大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。
既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。
MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
論文 参考訳（メタデータ） (2025-07-04T17:21:46Z) - SAUCE: Selective Concept Unlearning in Vision-Language Models with Sparse Autoencoders [16.551943721248108]
本稿では,視覚言語モデルにおいて,より微細で選択的な概念学習のための新しい手法であるSAUCEを紹介する。
まずSAEを訓練し、高次元、意味的に豊かなスパースの特徴を捉えます。
次に、未学習のターゲット概念に最も関連する機能を特定する。
推論中は、これらの特徴を選択的に修正し、関係のない情報を保存しながら特定の概念を抑圧する。
論文 参考訳（メタデータ） (2025-03-16T17:32:23Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。
実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文 参考訳（メタデータ） (2024-11-20T17:55:38Z) - Large Language Model Unlearning via Embedding-Corrupted Prompts [10.889859281637406]
大規模言語モデルのための軽量なアンラーニングフレームワークである textbfEmbedding-COrrupted (ECO) Prompts を提案する。
推論中に未学習の状態を識別し、忘れるプロンプトを保護するためにプロンプト分類器を用いて強制する。
その結果, 学習対象を満足させるだけでなく, 忘れることを意図したデータに基づいて訓練されたことのないモデルから得られる出力を, より正確に近似できることがわかった。
論文 参考訳（メタデータ） (2024-06-12T06:56:20Z) - Tuning-Free Accountable Intervention for LLM Deployment -- A
Metacognitive Approach [55.613461060997004]
大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。
我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T19:18:53Z) - Towards Safer Large Language Models through Machine Unlearning [19.698620794387338]
SKU(Selective Knowledge Unlearning)は、有害な知識を排除し、通常のプロンプトで実用性を維持するために設計されている。
第1段階は、モデル内の有害な知識を特定し、取得することを目的としており、第2段階は、この知識を取り除くことを目的としている。
本実験は,有害情報除去と有効性維持のバランス点をSKUが特定できることを実証した。
論文 参考訳（メタデータ） (2024-02-15T16:28:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。