論文の概要: Cross-Modal Attention Guided Unlearning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2510.07567v1
• Date: Wed, 08 Oct 2025 21:21:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.745548
• Title: Cross-Modal Attention Guided Unlearning in Vision-Language Models
• Title（参考訳）: 視覚・言語モデルにおける非学習の相互注意指導
• Authors: Karuna Bhaila, Aneesh Komanduri, Minh-Hao Van, Xintao Wu,
• Abstract要約: VLM(Vision-Language Models)は、マルチモーダル理解および推論タスクにおいて、膨大な能力を示す。 VLMは、クエリの視覚的コンテキストがテキストに加えてセンシティブな情報も含んでいる可能性があるため、このプロセスに複雑さの層を追加します。 我々は、軽量で効率的なVLMアンラーニングフレームワークであるCross-Modal Attentioned Unlearning(CAGUL)を定式化する。
• 参考スコア（独自算出の注目度）: 16.460281156521646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) have demonstrated immense capabilities in multi-modal understanding and inference tasks such as Visual Question Answering (VQA), which requires models to infer outputs based on visual and textual context simultaneously. Such inference abilities of large-scale pretrained models are often attributed to the massive scale of pre-training data collected across several domains. However, the models may memorize private and/or sensitive information during training and regurgitate it in inference. Recently, machine unlearning has been leveraged to address the leakage of private data in LLMs. VLMs add a layer of complexity to this process, as the visual context in the query may also contain sensitive information in addition to the text. To address this issue, we explore unlearning for vision-language models, specifically for the VQA task. We explore the role of visual tokens for output generation in VLMs using cross-modal attention and utilize it to formulate Cross-Modal Attention Guided Unlearning (CAGUL), a lightweight and efficient VLM unlearning framework. In contrast to computationally expensive model finetuning methods, CAGUL utilizes external modules to encode unlearning information in visual tokens of low importance for relevant queries. We find that the transformed visual tokens not only prevent leakage but also retain reference model behavior. Experimental results show that our method performs better or on par with finetuning-based baselines without altering the pre-trained model parameters or incurring retraining costs, making it a practical and effective unlearning solution for VLMs.
• Abstract（参考訳）: VLM(Vision-Language Models)は、視覚質問応答(VQA)のようなマルチモーダル理解および推論タスクにおいて、視覚的およびテキスト的コンテキストに基づいて出力を同時に推測するモデルを必要とする大きな能力を実証している。 このような大規模事前学習モデルの推論能力は、複数の領域にまたがる大量の事前学習データに起因することが多い。 しかし、これらのモデルはトレーニング中にプライベートやセンシティブな情報を記憶し、推論でそれを再認識する。 近年,LLMにおけるプライベートデータの漏洩に対処するために,機械学習が活用されている。 VLMは、クエリの視覚的コンテキストがテキストに加えてセンシティブな情報も含んでいる可能性があるため、このプロセスに複雑さの層を追加します。 この問題に対処するために,視覚言語モデル,特にVQAタスクのアンラーニングについて検討する。 本稿では,VLM における出力生成における視覚トークンの役割について検討し,軽量かつ効率的な VLM 学習フレームワークである CAGUL (Cross-Modal Attention Guided Unlearning) の定式化に活用する。 計算コストのかかるモデルファインタニング法とは対照的に、CAGULは外部モジュールを使用して、学習されていない情報を関連するクエリに対して重要でない視覚トークンにエンコードする。 変換された視覚トークンは,漏洩を防止するだけでなく,参照モデルの挙動も保持していることがわかった。 実験結果から,本手法はトレーニング済みモデルパラメータを変更したり,再学習コストを発生させることなく,微調整ベースラインと同等あるいは同等に動作し,VLMの実践的で効果的な未学習ソリューションであることがわかった。

関連論文リスト

• No Labels Needed: Zero-Shot Image Classification with Collaborative Self-Learning [0.0]
  視覚言語モデル(VLM)と、事前学習された視覚モデルを用いた伝達学習は、この問題に対処するための有望な手法として現れる。 本稿では,VLMと事前学習した視覚モデルを組み合わせたゼロショット画像分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-23T12:54:52Z)
• Vision-Language Modeling Meets Remote Sensing: Models, Datasets and Perspectives [36.297745473653166]
  視覚言語モデリング(VLM)は、画像と自然言語の間の情報ギャップを埋めることを目的としている。 大規模な画像テキストペアを事前学習し、タスク固有のデータを微調整するという新しいパラダイムの下で、リモートセンシング領域のVLMは大きな進歩を遂げた。
  論文  参考訳（メタデータ） (2025-05-20T13:47:40Z)
• EZ-HOI: VLM Adaptation via Guided Prompt Learning for Zero-Shot HOI Detection [21.091101582856183]
  本稿では,効率的なゼロショットHOI検出(EZ-HOI)のための新しい学習フレームワークを提案する。 まず、学習可能なプロンプトに対してLarge Language Model(LLM)とVLMガイダンスを導入し、詳細なHOI記述と視覚的セマンティクスを統合して、VLMをHOIタスクに適用する。 我々は,既存の手法と比較して,トレーニング可能なパラメータの10.35%から33.95%しか持たない,さまざまなゼロショット設定における最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T13:06:29Z)
• Enhancing Large Vision Language Models with Self-Training on Image Comprehension [131.14381425260706]
  本稿では、画像理解に特化して自己学習アプローチを強調する自己学習 on Image (STIC)を紹介する。 まず、ラベルのない画像を用いて、画像記述の好みを自己構築する。 抽出した視覚情報に対する推論をさらに自己改善するため,既存の命令調整データのごく一部をモデルに再利用する。
  論文  参考訳（メタデータ） (2024-05-30T05:53:49Z)
• Multi-modal Auto-regressive Modeling via Visual Words [96.25078866446053]
  本稿では,視覚的特徴を大規模多モードモデルの語彙上の確率分布にマッピングする視覚トークンの概念を提案する。 さらに、LMM内の意味空間における視覚的特徴の分布と、視覚情報を表現するためにテキスト埋め込みを使用することの可能性について検討する。
  論文  参考訳（メタデータ） (2024-03-12T14:58:52Z)
• VILA: On Pre-training for Visual Language Models [74.08039416548209]
  ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。 私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
  論文  参考訳（メタデータ） (2023-12-12T18:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。