論文の概要: Words Before Pixels: Selective Modality Routing for Vision-Language Model Unlearning

• arxiv url: http://arxiv.org/abs/2611.00608v1
• Date: Sat, 31 Oct 2026 04:09:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:11:18.11087
• Title: Words Before Pixels: Selective Modality Routing for Vision-Language Model Unlearning
• Title（参考訳）: 画像前の単語:視覚言語モデル学習のための選択的モダリティルーティング
• Abstract要約: 視覚言語モデル(VLM)アンラーニングはしばしば客観的設計問題として扱われる。 私たちはこの見解がデータ中心の問題と同等に見落としていると論じています。
• 参考スコア（独自算出の注目度）: 43.74531498426544
• License:
• Abstract: Vision-language model (VLM) unlearning is often treated as an objective-design problem: given multimodal forget data, the goal is to optimize a loss that removes undesirable behavior while preserving retained capabilities. We argue that this view overlooks an equally important data-centric question: how should each forget example be represented before optimization? Existing methods typically keep image-conditioned failures in their original image-text form, implicitly assuming that pixels are the right route for unlearning whenever pixels appear in the input. We challenge this assumption by constructing modality-decomposed versions of VLM benchmarks, enabling controlled comparisons among image-only, text-only, and multimodal representations of the same examples. Our modality-mixing experiments show that unsafe instruction-following behavior is more effectively suppressed through textual representations than through images alone, while purely text-only unlearning can still weaken visual grounding when the target behavior depends on visual evidence. Motivated by this trade-off, we introduce ModRoute, a gradient-guided per-sample modality routing strategy that selectively converts high visual-pressure examples to text-only form while keeping the remaining examples multimodal. Notably, on VLGuard with LLaVA-1.5-7B, ModRoute has the strongest composite unlearning-utility score of 0.847 at $γ=0.5$, a 2.5% improvement over the best random-switching score and $\geq$46% better than pure multimodal or text unlearning. Overall, our results show that effective VLM unlearning depends not only on the objective, but also on the composition and per-sample modality routing of the unlearning data.
• Abstract（参考訳）: 視覚言語モデル(VLM)のアンラーニングは、しばしば客観的設計の問題として扱われる: マルチモーダルな忘れデータに対して、目標は、保持機能を維持しながら望ましくない振る舞いを取り除く損失を最適化することである。 私たちはこの見解がデータ中心の問題と同等に見落としていると論じています。 既存の方法では、画像条件付き障害を元の画像テキスト形式で保持し、入力にピクセルが現れるたびに、画素が未学習の正しい経路であると暗黙的に仮定する。 我々は、VLMベンチマークのモダリティ分解バージョンを構築し、同じ例のイメージのみ、テキストのみ、およびマルチモーダル表現の制御された比較を可能にすることで、この仮定に挑戦する。 モダリティミキシング実験により, 対象の動作が視覚的エビデンスに依存する場合にも, 純粋にテキストのみによるアンラーニングが視覚的グラウンドニングを弱める一方で, テキストによる表現により, 安全でない指示追従行動がより効果的に抑制されることが示された。 このトレードオフに動機づけられたModRouteは、高次視覚圧の例をテキストのみに選択的に変換し、残りの例をマルチモーダルに保ちながら、勾配誘導されるサンプルごとのモダリティルーティング戦略である。 特に、LLaVA-1.5-7BのVLGuardでは、ModRouteは、最高のランダムスイッチングスコアよりも2.5%改善され、純粋なマルチモーダルやテキストアンラーニングよりも$\geq$46%向上した、0.847の合成未学習ユーティリティスコアを持つ。 以上の結果から,有効なVLMアンラーニングは,目的だけでなく,非ラーニングデータの合成やサンプルごとのモダリティ・ルーティングにも依存することがわかった。

関連論文リスト

• Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression [2.9998889086656586]
  本稿では,トランスフォーマーベース分類(RvTC)が語彙制約型分類を柔軟なビンベースアプローチで置き換える方法を示す。 汎用的なタスク記述とは異なり、特定の画像に関する意味情報を含むプロンプトにより、MLLMはクロスモーダル理解を活用することができる。
  論文  参考訳（メタデータ） (2025-07-20T15:05:24Z)
• Multimodal Unlearnable Examples: Protecting Data against Multimodal Contrastive Learning [53.766434746801366]
  マルチモーダル・コントラッシブ・ラーニング (MCL) は、インターネットから何百万ものイメージ・キャプション・ペアから学習することで、ゼロショット分類において顕著な進歩を見せている。 ハッカーは、個人やプライバシーに敏感な情報を含む、モデルトレーニングのために画像テキストデータを不正に活用する可能性がある。 近年の研究では、保護のためのショートカットを構築するための訓練画像に知覚不能な摂動を加えることで、学習不可能な例を生成することを提案する。 マルチステップ誤り最小化(MEM)を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:00:52Z)
• LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations [4.680881326162484]
  画像分類やオブジェクト検出などの下流タスクにおける教師あり学習よりも優れている。 対照的な学習における一般的な強化手法は、ランダムな収穫とそれに続くリサイズである。 本稿では,新しいインスタンス識別手法と適応型損失関数を用いたフレームワークであるLeOCLRを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T15:33:32Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Black Box Few-Shot Adaptation for Vision-Language models [41.49584259596654]
  ヴィジュアル・ランゲージ(V-L)モデルは、視覚的・言語的モダリティを整合させるために、対照的な学習で訓練された。 本稿では,プリコンパイルされた画像とテキストの特徴に基づいて,V-L小ショット適応のためのブラックボックス手法について述べる。 対象領域におけるV-L再アライメントに対する単純な線形アプローチである線形特徴アライメント(LFA)を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:42:29Z)
• Contrastive Learning of Visual-Semantic Embeddings [4.7464518249313805]
  本稿では,正規化されたクロスエントロピーに基づく2つの損失関数を提案する。 本研究は,画像・テキスト・テキスト・画像検索タスクにおける既存のビジュアル・セマンティックな埋め込み手法と比較する。
  論文  参考訳（メタデータ） (2021-10-17T17:28:04Z)
• Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning [116.91819311885166]
  一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。 提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
  論文  参考訳（メタデータ） (2020-12-04T17:26:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。