Fugu-MT 論文翻訳(概要): A Model Merging Approach for Continual MLLM Unlearning

論文の概要: A Model Merging Approach for Continual MLLM Unlearning

arxiv url: http://arxiv.org/abs/2608.04548v1
Date: Wed, 05 Aug 2026 07:37:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-06 14:48:43.771453
Title: A Model Merging Approach for Continual MLLM Unlearning
Title（参考訳）: 連続MLLMアンラーニングのためのモデルマージングアプローチ
Authors: Yuhang Wang, Linlin Zhang, Haoxuan Ji, Xianmin Ye, Zhenxing Niu, Haichang Gao,
Abstract要約: Merging for Continual Unlearning (MCU)は、複数のワンショットアンラーニングアダプタを、新しいアンラーニングリクエストを受信すると、動的に統一されたアダプタにマージするアプローチである。 MCUは、保持された知識と汎用マルチモーダルユーティリティの両方を保持しながら、優れた非学習効率を実現する。
参考スコア（独自算出の注目度）: 22.83414107472909
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multimodal large language model (MLLM) unlearning methods have been proposed to remove private, sensitive, or proprietary information from well-trained models. However, most existing MLLM unlearning methods are designed for one-shot requests and fail to adequately address continual scenarios, as repeatedly applying one-shot operations leads to cumulative utility degradation, unlearning rebound, and retention drift. We introduce Merging for Continual Unlearning (MCU), an approach that dynamically merges multiple one-shot unlearning adapters into a unified adapter upon receiving each new unlearning request.Through a leave-one-out merging analysis, we reveal that these unlearning adapters exhibit strong cross-task dependencies. Such dependencies have two contrasting effects: they can facilitate cross-task unlearning transferability, but they can also introduce severe interference that degrades unlearning effectiveness and compromises retained knowledge. To address this challenge, MCU projects the adapters into a shared representation space, preserves their dominant directions, suppresses over-concentrated coordinates, and reconfigures cross-task dependencies to mitigate interference while enhancing transferability. Experiments on ICU-Bench and MLLMU-Bench demonstrate that MCU achieves superior unlearning effectiveness while preserving both retained knowledge and general multimodal utility.
Abstract（参考訳）: マルチモーダル大規模言語モデル (MLLM) は、訓練されたモデルからプライベート、センシティブ、あるいはプロプライエタリな情報を除去するために提案されている。しかし、既存のMLLMアンラーニング手法の多くはワンショット要求のために設計されており、ワンショット操作を繰り返し適用すると、累積的なユーティリティ劣化、未学習リバウンド、保持ドリフトにつながるため、継続シナリオに適切に対処できない。本稿では,Merging for Continual Unlearning(MCU)という,複数のワンショットのアンラーニングアダプタを新しいアンラーニング要求を受信すると,動的に統一されたアダプタにマージする手法を紹介する。このような依存関係には2つの対照的な効果がある: クロスタスクな未学習の伝達性を促進することができるが、同時に、未学習の有効性を低下させ、保持された知識を損なうような深刻な干渉を導入することもできる。この課題に対処するため、MCUはアダプタを共有表現空間に投影し、支配的な方向を保ち、過集中の座標を抑え、トランスファービリティを高めながら干渉を軽減するためにクロスタスク依存関係を再設定する。 ICU-Bench と MLLMU-Bench の実験では、MCU は、保持された知識と一般的なマルチモーダルユーティリティの両方を保ちながら、より優れた非学習効率を達成することを示した。

関連論文リスト

Visual-Noise Guided In-Context Distillation for Multimodal Large Language Model Unlearning [25.860185076316508]
MLLM(Multimodal Large Language Models)は、視覚言語タスクにおいて顕著な進歩を遂げている。また、機密知識や制限された知識を記憶し、公開し、プライバシーやより広範な安全リスクへの懸念を喚起することもある。 MLLMアンラーニングのための蒸留フレームワークとして,視覚誘導型インコンテキスト蒸留(VGID)を提案する。
論文参考訳（メタデータ） (2026-05-26T12:49:34Z)
Harmonizing Multi-Objective LLM Unlearning via Unified Domain Representation and Bidirectional Logit Distillation [11.723777730116831]
大規模言語モデル(LLM)のアンラーニングは、モデルから有害またはプライバシをリードする情報を除去するために不可欠である。既存の未学習の手法は主にこれらの目標の限られたサブセットに焦点を当てている。複数の未学習目標を調和させる新しい多目的学習フレームワークを提案する。
論文参考訳（メタデータ） (2026-04-16T19:09:17Z)
From Sparse Decisions to Dense Reasoning: A Multi-attribute Trajectory Paradigm for Multimodal Moderation [59.27094165576015]
疎度な意思決定から高密度な推論トレースへ移行する新しい学習パラダイム(UniMod)を提案する。モノリシックな意思決定タスクを多次元境界学習プロセスに再構成し,エビデンス,モダリティ評価,リスクマッピング,政策決定,応答生成を含む構造化軌道を構築する。タスク固有のパラメータを分離し、トレーニングダイナミクスを再バランスさせ、マルチタスク学習における多様な目的間の干渉を効果的に解消する、特別な最適化戦略を導入する。
論文参考訳（メタデータ） (2026-01-28T09:29:40Z)
Hierarchical Federated Unlearning for Large Language Models [5.406594712642111]
大きな言語モデル(LLM)は、現実のアプリケーションにますます統合され、プライバシやセキュリティ、望ましくない知識を取り除く必要性への懸念が高まっている。スケーラブルでプライバシーを保護できるLLMのためのフェデレーション・アンラーニング・アプローチを提案する。本手法は,タスク固有のアダプタ学習を通じて学習と保持を分離し,競合する目的を緩和するために階層的なマージ戦略を採用する。
論文参考訳（メタデータ） (2025-10-19T04:24:51Z)
MLLMEraser: Achieving Test-Time Unlearning in Multimodal Large Language Models through Activation Steering [36.80441487363007]
MLLMEraserは、テスト時間アンラーニングのための入力対応、トレーニング不要のフレームワークである。逆摂動型知識-リコール画像-テキストペアを対比してマルチモーダル消去方向を構築する。 LLaVA-1.5とQwen-2.5-VLの実験では、MLLMEraserは最先端MLLMの未学習ベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2025-10-05T14:20:17Z)
Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文参考訳（メタデータ） (2023-11-17T18:57:40Z)
AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
論文参考訳（メタデータ） (2023-10-04T04:26:33Z)
Bridging the Imitation Gap by Adaptive Insubordination [88.35564081175642]
教官が特権情報にアクセスして意思決定を行う場合、この情報は模倣学習中に疎外されることを示す。本稿では,このギャップに対処するため,適応的不規則化(ADVISOR)を提案する。 ADVISORは、トレーニング中の模倣と報酬に基づく強化学習損失を動的に重み付け、模倣と探索をオンザフライで切り替えることを可能にする。
論文参考訳（メタデータ） (2020-07-23T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。