論文の概要: One Modality to Forget Them All: Enhancing Cross-Modal Unlearning in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2607.16442v1
- Date: Fri, 17 Jul 2026 18:44:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.150656
- Title: One Modality to Forget Them All: Enhancing Cross-Modal Unlearning in Vision-Language Models
- Title（参考訳）: 全てを忘れるモダリティ:視覚・言語モデルにおけるクロスモーダル・アンラーニングの強化
- Abstract要約: 3つの視覚言語モデル(VLM)を横断するクロスモーダル・アンラーニング・トランスファーについて検討する。
モダリティにまたがる未学習のトランスファーが見つかるが、このトランスファーは非対称で不完全である。
伝達ギャップと浅部頑健性に対処するため,影響誘導型緩和戦略であるtextscCrossInfを提案する。
- 参考スコア（独自算出の注目度）: 4.743159345345865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine unlearning is widely used to remove hazardous knowledge from large language models. Modern Vision-Language Models (VLMs), however, process both text and visual inputs, raising a fundamental security question: does unlearning in one modality transfer to the other? We present the first systematic, bidirectional study of cross-modal unlearning transfer across three VLM architectures: LLaVA-1.5 (MLP projection), InstructBLIP (Q-Former), and IDEFICS (gated cross-attention). We find that unlearning transfers across modalities, but the transfer is asymmetric and incomplete. In some cases, text unlearning strongly transfers to vision. However, this robustness is not preserved under typographic attacks that manipulate the visual presentation of text. Under such attacks, previously unlearned knowledge can be readily recovered, indicating shallow unlearning. To address the transfer gap and shallow robustness, we propose \textsc{CrossInf}, an influence-guided mitigation strategy. Motivated by the observation that different model components contribute unequally to cross-modal transfer, \textsc{CrossInf} focuses unlearning on transformer blocks that most influence cross-modal generalization. It reduces the transfer gap by more than half in architectures with strong fusion, while preserving model utility. It also improves robustness under typographic attacks, reducing the attack success rate to near zero. We further conduct human evaluation with three annotators ($κ{=}0.77$) to validate our findings. Finally, we analyze shallow unlearning using Centered Kernel Alignment (CKA), providing insights into the observed transfer behavior and robustness limitations.
- Abstract（参考訳）: 機械学習は、大きな言語モデルから有害な知識を取り除くために広く使われている。
しかし、現代の視覚言語モデル(VLM)は、テキストと視覚の両方の入力を処理し、基本的なセキュリティ上の疑問を提起する。
LLaVA-1.5 (MLPプロジェクション), InstructBLIP (Q-Former), IDEFICS (gate cross-attention) の3つのVLMアーキテクチャ間でのクロスモーダル・アンラーニング転送に関する,最初の体系的,双方向な研究を行った。
モダリティにまたがる未学習のトランスファーが見つかるが、このトランスファーは非対称で不完全である。
場合によっては、未学習のテキストは視覚に強く移行する。
しかし、この頑健さは、テキストの視覚的表示を操作するタイポグラフィー攻撃では保存されない。
このような攻撃の下では、未学習の知識はすぐに回復でき、浅い未学習を示す。
伝達ギャップと浅いロバスト性に対処するため,影響誘導緩和戦略であるtextsc{CrossInf}を提案する。
異なるモデル成分がクロスモーダル移動に不平等に寄与するという観察に動機づけられた \textsc{CrossInf} は、クロスモーダル一般化に最も影響を及ぼす変圧器ブロックの学習に焦点をあてる。
モデルユーティリティを保ちながら、強い融合を持つアーキテクチャにおいて、転送ギャップを半分以上削減する。
また、タイポグラフィー攻撃による堅牢性を改善し、攻撃成功率をほぼゼロに下げる。
さらに3つのアノテータ(κ{=}0.77$)を用いて人的評価を行い,その妥当性を検証した。
最後に,CKA(Centered Kernel Alignment)を用いて浅層未学習を分析し,観測された伝達挙動とロバスト性制限について考察した。
関連論文リスト
- Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs [89.7106332677868]
意味進化から空間的相互作用を分離する学習自由推論パラダイムであるVisual-Skipを提案する。
V-Skipは、ブロックワイドの空間性を達成するために、冗長な視覚的注意を効果的に回避し、様々なMLLM間で94.16%から100.31%のパフォーマンス維持を維持している。
論文 参考訳（メタデータ） (2026-06-07T08:32:13Z) - Mind the Discriminability Trap in Source-Free Cross-domain Few-shot Learning [30.80780619903459]
Source-Free Cross-Domain Few-Shot Learningは、ターゲットドメインからの限られたトレーニングデータによる微調整に焦点を当てている。
視覚的識別性の向上は実際にVLMの性能を抑制する。
まず、モデルを誘導し、モーダル間のアライメントに焦点を合わせるために、視覚学習を摂動させるアプローチを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:59:23Z) - Understanding and Enhancing Encoder-based Adversarial Transferability against Large Vision-Language Models [19.899086203883254]
大規模視覚言語モデル (LVLM) は、マルチモーダルタスクで顕著な成功を収めた。
視覚的な入力への依存は、大きな敵の脅威に晒される。
既存のエンコーダベースの攻撃は、LVLM全体ではなく、視覚エンコーダのみに最適化することで、入力画像を摂動させる。
本研究は,LVLMにおけるエンコーダを用いた対向転送性に関する最初の体系的研究である。
論文 参考訳（メタデータ） (2026-02-10T05:51:02Z) - MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。
MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-06-29T06:41:00Z) - Revisiting CroPA: A Reproducibility Study and Enhancements for Cross-Prompt Adversarial Transferability in Vision-Language Models [0.0]
VLM(Large Vision-Language Models)はコンピュータビジョンに革命をもたらし、画像分類、キャプション、視覚質問応答などのタスクを可能にする。
特に視覚とテキストの両方のモダリティを操作できるシナリオでは、敵攻撃に対して非常に脆弱なままである。
我々は,「イメージは1000の嘘である:視覚・言語モデルにおける逆転可能性」の総合的研究を行う。
論文 参考訳（メタデータ） (2025-06-28T19:01:41Z) - Prompt-Driven Contrastive Learning for Transferable Adversarial Attacks [42.18755809782401]
PDCL-Attackと呼ばれる新しいトランスファー攻撃法を提案する。
テキストのセマンティック表現力を利用して効果的なプロンプト駆動型特徴ガイダンスを定式化する。
論文 参考訳（メタデータ） (2024-07-30T08:52:16Z) - Transfer Attack for Bad and Good: Explain and Boost Adversarial Transferability across Multimodal Large Language Models [25.89265341244672]
MLLM(Multimodal Large Language Models)は、相互モダリティ相互作用において例外的な性能を示すが、敵の脆弱性も抱える。
本稿では,MLLM間の対向転写可能性の顕在化を解析し,その特性に影響を及ぼす要因を同定する。
論文 参考訳（メタデータ） (2024-05-30T14:27:20Z) - Set-level Guidance Attack: Boosting Adversarial Transferability of
Vision-Language Pre-training Models [52.530286579915284]
本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。
伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。
本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
論文 参考訳（メタデータ） (2023-07-26T09:19:21Z) - Common Knowledge Learning for Generating Transferable Adversarial
Examples [60.1287733223249]
本稿では,代用(ソース)モデルにより敵のサンプルを生成するブラックボックス攻撃の重要タイプに着目した。
既存の手法では、ソースモデルとターゲットモデルが異なるタイプのDNNアーキテクチャのものである場合、不満足な逆転が生じる傾向にある。
本稿では,より優れたネットワーク重みを学習し,敵対的な例を生成するための共通知識学習(CKL)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-01T09:07:12Z) - mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal
Skip-connections [104.14624185375897]
mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。
画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
論文 参考訳（メタデータ） (2022-05-24T11:52:06Z) - Learning to Learn Transferable Attack [77.67399621530052]
転送逆行攻撃は非自明なブラックボックス逆行攻撃であり、サロゲートモデル上で敵の摂動を発生させ、そのような摂動を被害者モデルに適用することを目的としている。
本研究では,データとモデル拡張の両方から学習することで,敵の摂動をより一般化する学習可能な攻撃学習法(LLTA)を提案する。
提案手法の有効性を実証し, 現状の手法と比較して, 12.85%のトランスファー攻撃の成功率で検証した。
論文 参考訳（メタデータ） (2021-12-10T07:24:21Z) - AGKD-BML: Defense Against Adversarial Attack by Attention Guided
Knowledge Distillation and Bi-directional Metric Learning [61.8003954296545]
Atention Guided Knowledge Distillation and Bi-directional Metric Learning (AGKD-BML) による新しい対人訓練ベースモデルを提案する。
提案したAGKD-BMLモデルは,最先端のアプローチよりも一貫して優れている。
論文 参考訳（メタデータ） (2021-08-13T01:25:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。