論文の概要: Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2606.00105v1
• Date: Tue, 26 May 2026 12:49:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:27.956549
• Title: Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning
• Title（参考訳）: マルチモーダル大規模言語モデル学習のための視覚ノイズガイド付きインコンテキスト蒸留法
• Authors: Junkai Chen, Yuhao He, Junxiang You, Ruiqi Liu, Chenyu Wang, Shu Wu,
• Abstract要約: MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいて顕著な進歩を遂げている。 また、機密知識や制限された知識を記憶し、公開し、プライバシーやより広範な安全リスクへの懸念を喚起することもある。 MLLMアンラーニングのための蒸留フレームワークとして,視覚誘導型インコンテキスト蒸留(VGID)を提案する。
• 参考スコア（独自算出の注目度）: 25.860185076316508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved remarkable progress on vision-language tasks, but they may also memorize and expose sensitive or restricted knowledge, raising concerns about privacy and broader safety risks. Machine Unlearning (MU) provides a promising way to remove targeted undesirable knowledge from trained models without retraining from scratch while preserving general model utility. Nevertheless, effective unlearning in MLLMs remains particularly challenging. Existing training-based methods often struggle to balance unlearning effectiveness and model utility. In contrast, training-free methods such as in-context unlearning preserve model utility by avoiding parameter updates, but they do not remove memorized knowledge at the parameter level and may remain vulnerable to reverse-engineering attacks. More importantly, in-context unlearning is insufficient in multimodal settings, where visual inputs can provide strong conditioning signals and induce undesirable outputs. To address these challenges, we propose Visual-Noise Guided In-Context Distillation (VGID), a distillation-based framework for MLLM unlearning. VGID dynamically constructs an unlearning-oriented teacher distribution from the frozen base model through dual-modal intervention that combines visual perturbation with textual in-context unlearning. The resulting intervention-induced distribution serves as a teacher signal for distillation, guiding the student model toward parameter-level unlearning without requiring external teacher models or explicit undesirable response annotations. Experimental results show that VGID achieves strong unlearning effectiveness while preserving competitive model utility, reducing forget set ROUGE-L by 0.371 with only a 0.055 drop in retain set ROUGE-L in a representative setting.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいて顕著な進歩を遂げている。 マシン・アンラーニング(MU)は、一般的なモデルユーティリティを保持しながら、スクラッチからリトレーニングすることなく、トレーニングされたモデルから好ましくない知識を除去する有望な方法を提供する。 それでも、MLLMの効果的なアンラーニングは特に困難である。 既存のトレーニングベースの手法は、未学習の有効性とモデルユーティリティのバランスをとるのに苦労することが多い。 対照的に、インコンテキストアンラーニングモデルユーティリティのようなトレーニング不要な手法は、パラメータ更新を回避しているが、パラメータレベルで記憶された知識を削除せず、リバースエンジニアリング攻撃に対して脆弱なままである。 さらに重要なのは、視覚的な入力が強い条件付け信号を提供し、望ましくない出力を誘導できるマルチモーダル環境では、コンテキスト内学習が不十分であることだ。 これらの課題に対処するため,MLLMアンラーニングのための蒸留フレームワークであるVisual-Noise Guided In-Context Distillation (VGID)を提案する。 VGIDは、視覚摂動とテキスト・イン・コンテクスト・アンラーニングを組み合わせたデュアルモーダル介入により、凍結ベースモデルから学習指向の教師分布を動的に構築する。 介入によって引き起こされる分布は蒸留の教師信号として機能し、外部の教師モデルや明示的な望ましくない応答アノテーションを必要とせずに、学生モデルをパラメータレベルの未学習に向けて導く。 実験結果から,VGIDは,競争モデルユーティリティを保ちながら高い未学習性を実現し,リクットセットROUGE-Lを0.371減らし,保持セットROUGE-Lを代表設定で0.055滴しか保持しないことがわかった。

関連論文リスト

• ASRU: Activation Steering Meets Reinforcement Unlearning for Multimodal Large Language Models [16.973117214946107]
  MLLM(Multimodal large language model)は、事前訓練中に機密なクロスモーダル情報を記憶することができる。 我々は、生成品質をコア評価対象として組み込んだ、制御可能なマルチモーダル・アンラーニングフレームワークASRUを提案する。
  論文  参考訳（メタデータ） (2026-05-15T07:22:43Z)
• Harmonizing Multi-Objective LLM Unlearning via Unified Domain Representation and Bidirectional Logit Distillation [11.723777730116831]
  大規模言語モデル(LLM)のアンラーニングは、モデルから有害またはプライバシをリードする情報を除去するために不可欠である。 既存の未学習の手法は主にこれらの目標の限られたサブセットに焦点を当てている。 複数の未学習目標を調和させる新しい多目的学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-16T19:09:17Z)
• Sparsity-Aware Unlearning for Large Language Models [20.699929903336113]
  大きな言語モデル(LLM)は、トレーニング中に機密情報を必然的に記憶し、重大なプライバシーリスクを生じさせる。 マシンアンラーニングは、完全なリトレーニングをせずに、そのような情報を選択的に除去する、有望なソリューションとして登場した。 未学習の有効性はスパースモデルで著しく低下する。 本研究では,スパシフィケーション目標から勾配マスキングを通じてアンラーニングを分離する,スパシティ・アウェア・アンラーニング(SAU)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T07:45:30Z)
• MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
  MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。 逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-05T14:20:17Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.40798352740857]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [65.04475956174959]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLにおける重要な課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータの敵ジャミングに対する感受性である。 本稿では,無線ネットワーク上での大規模言語モデル (LLM) と視覚言語モデル (VLM) を用いたレジリエンスSFLのための物理層フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。