論文の概要: Approximate Domain Unlearning for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2510.08132v1
- Date: Thu, 09 Oct 2025 12:17:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-10 17:54:15.058972
- Title: Approximate Domain Unlearning for Vision-Language Models
- Title(参考訳): 視覚言語モデルのための近似領域の学習
- Authors: Kodai Kawamura, Yuta Goto, Rintaro Yanagi, Hirokatsu Kataoka, Go Irie,
- Abstract要約: 本稿では,特定の領域の画像の認識精度を低下させる新しい問題設定であるADU(Approximate Domain Unlearning)を紹介する。
ADUは、事前訓練されたビジョンランゲージモデルの強力なドメイン一般化能力のために、新しい技術的課題を提示している。
本稿では,ドメイン分布を明示的に切り離し,インスタンス固有のドメイン情報を適応的にキャプチャする手法を提案する。
- 参考スコア(独自算出の注目度): 22.8689039971533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Pre-trained Vision-Language Models (VLMs) exhibit strong generalization capabilities, enabling them to recognize a wide range of objects across diverse domains without additional training. However, they often retain irrelevant information beyond the requirements of specific downstream tasks, raising concerns about computational efficiency and potential information leakage. This has motivated growing interest in approximate unlearning, which aims to selectively remove unnecessary knowledge while preserving overall model performance. Existing approaches to approximate unlearning have primarily focused on class unlearning, where a VLM is retrained to fail to recognize specified object classes while maintaining accuracy for others. However, merely forgetting object classes is often insufficient in practical applications. For instance, an autonomous driving system should accurately recognize real cars while avoiding misrecognition of illustrated cars depicted in roadside advertisements as real cars, which could be hazardous. In this paper, we introduce Approximate Domain Unlearning (ADU), a novel problem setting that requires reducing recognition accuracy for images from specified domains (e.g., illustration) while preserving accuracy for other domains (e.g., real). ADU presents new technical challenges: due to the strong domain generalization capability of pre-trained VLMs, domain distributions are highly entangled in the feature space, making naive approaches based on penalizing target domains ineffective. To tackle this limitation, we propose a novel approach that explicitly disentangles domain distributions and adaptively captures instance-specific domain information. Extensive experiments show that our approach outperforms baselines built upon VLM tuning techniques, paving the way for practical and fine-grained unlearning in VLMs. Code: https://kodaikawamura.github.io/Domain_Unlearning/.
- Abstract(参考訳): VLM(Pre-trained Vision-Language Models)は強力な一般化能力を示し、追加のトレーニングなしで様々な領域にまたがる幅広いオブジェクトを認識できる。
しかし、それらは特定の下流タスクの要求を超える無関係な情報を保持し、計算効率と潜在的な情報漏洩に関する懸念を提起する。
これは、モデル全体の性能を保ちながら、不要な知識を選択的に除去することを目的としている。
既存のアンラーニングのアプローチは、主にクラスアンラーニングに焦点を合わせており、VLMは特定のオブジェクトクラスを認識するのに失敗し、他の人の正確さを維持している。
しかし、単にオブジェクトクラスを忘れるだけでは、実用的なアプリケーションでは不十分であることが多い。
例えば、自動運転車は、道路脇の広告で描かれた車両をリアル車として誤認識しないようにしながら、リアル車を正確に認識する必要がある。
本稿では、他の領域(例えば、実)の精度を維持しつつ、特定の領域(例えば、イラスト)からの画像の認識精度を低下させる新しい問題設定である、近似ドメイン学習(ADU)を紹介する。
事前訓練されたVLMの強いドメイン一般化能力のため、ドメイン分布は特徴空間に強く絡み合っており、標的ドメインのペナルティ化に基づくナイーブなアプローチは効果的ではない。
この制限に対処するために、ドメイン分布を明示的に切り離し、インスタンス固有のドメイン情報を適応的にキャプチャする新しいアプローチを提案する。
広汎な実験により,本手法はVLMチューニング技術に基づくベースラインよりも優れており,VLMにおける実践的できめ細かい未学習への道を開いた。
コード:https://kodaikawamura.github.io/Domain_Unlearning/。
関連論文リスト
- GRAIL: Gradient-Based Adaptive Unlearning for Privacy and Copyright in LLMs [26.13653211674955]
広範囲なデータセットでトレーニングされた大規模言語モデル(LLM)は、しばしばセンシティブな情報を学ぶ。
望ましくない情報を除去するために、スクラッチからモデル全体をリトレーニングすることは、費用がかかることと実用的でないことの両方である。
本稿では,GRAIL(AdaptIve unLearning)を提案する。
論文 参考訳(メタデータ) (2025-04-17T06:16:32Z) - Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-07-07T12:19:37Z) - Self-Guided Masked Autoencoders for Domain-Agnostic Self-Supervised
Learning [58.93724285214628]
本稿では、完全にドメインに依存しないマスク付きモデリング手法である自己誘導マスク付きオートエンコーダ(SMA)を提案する。
SMAは、マスクを学習し、ドメイン固有の仮定なしでサンプリングすることで、マスクモデリングの目的を用いて注意に基づくモデルを訓練する。
本研究では,タンパク質生物学,化学特性予測,粒子物理の3つの自己教師型学習ベンチマークでSMAを評価した。
論文 参考訳(メタデータ) (2024-02-22T18:46:22Z) - Domain-Controlled Prompt Learning [49.45309818782329]
既存の素早い学習方法はドメイン認識やドメイン転送機構を欠いていることが多い。
特定のドメインに対するtextbfDomain-Controlled Prompt Learningを提案する。
本手法は,特定の領域画像認識データセットにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-09-30T02:59:49Z) - CDFSL-V: Cross-Domain Few-Shot Learning for Videos [58.37446811360741]
ビデオのアクション認識は、いくつかのラベル付き例でのみ、新しいカテゴリを認識するための効果的なアプローチである。
既存のビデオアクション認識の方法は、同じドメインからの大きなラベル付きデータセットに依存している。
本稿では,自己教師付き学習とカリキュラム学習を活用した,クロスドメインな数ショットビデオ行動認識手法を提案する。
論文 参考訳(メタデータ) (2023-09-07T19:44:27Z) - Maximizing Model Generalization for Machine Condition Monitoring with
Self-Supervised Learning and Federated Learning [4.214064911004321]
Deep Learningは、手動で設計された統計的特徴なしで、障害を診断し、生の状態監視データからマシンの健康を評価する。
伝統的な教師付き学習は、目に見えない対象ドメインに一般化するコンパクトで差別的な表現を学ぶのに苦労することがある。
本研究は,対象領域にモデルをコピーするために,ソース領域における特徴一般化の最大化と重み移動によるTLの適用に焦点をあてる。
論文 参考訳(メタデータ) (2023-04-27T17:57:54Z) - Domain Adaptive Semantic Segmentation without Source Data [50.18389578589789]
モデルがソースドメイン上で事前学習されていることを前提として、ソースデータのないドメイン適応セマンティックセマンティックセマンティックセマンティクスについて検討する。
本稿では,この課題に対して,肯定的学習と否定的学習という2つの要素を用いた効果的な枠組みを提案する。
私たちのフレームワークは、パフォーマンスをさらに向上するために、他のメソッドに簡単に実装および組み込むことができます。
論文 参考訳(メタデータ) (2021-10-13T04:12:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。