論文の概要: Attention Head Purification: A New Perspective to Harness CLIP for Domain Generalization

• arxiv url: http://arxiv.org/abs/2412.07226v1
• Date: Tue, 10 Dec 2024 06:27:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:12.485481
• Title: Attention Head Purification: A New Perspective to Harness CLIP for Domain Generalization
• Title（参考訳）: アテンションヘッドの浄化 : 領域一般化のためのハーネスCLIPの新しい展望
• Authors: Yingfan Wang, Guoliang Kang,
• Abstract要約: ドメインの一般化は、複数のソースドメインからモデルを学び、目に見えないターゲットドメインで十分なパフォーマンスを達成することを目的としています。 従来の手法では、完全な微調整やプロンプト学習のパラダイムを使用して、CLIPをDGタスクに利用していた。 本稿では,DGのためのCLIP,すなわちアテンションヘッドの浄化のための新しい視点を提案する。
• 参考スコア（独自算出の注目度）: 8.660130886431789
• License:
• Abstract: Domain Generalization (DG) aims to learn a model from multiple source domains to achieve satisfactory performance on unseen target domains. Recent works introduce CLIP to DG tasks due to its superior image-text alignment and zeros-shot performance. Previous methods either utilize full fine-tuning or prompt-learning paradigms to harness CLIP for DG tasks. Those works focus on avoiding catastrophic forgetting of the original knowledge encoded in CLIP but ignore that the knowledge encoded in CLIP in nature may contain domain-specific cues that constrain its domain generalization performance. In this paper, we propose a new perspective to harness CLIP for DG, i.e., attention head purification. We observe that different attention heads may encode different properties of an image and selecting heads appropriately may yield remarkable performance improvement across domains. Based on such observations, we purify the attention heads of CLIP from two levels, including task-level purification and domain-level purification. For task-level purification, we design head-aware LoRA to make each head more adapted to the task we considered. For domain-level purification, we perform head selection via a simple gating strategy. We utilize MMD loss to encourage masked head features to be more domain-invariant to emphasize more generalizable properties/heads. During training, we jointly perform task-level purification and domain-level purification. We conduct experiments on various representative DG benchmarks. Though simple, extensive experiments demonstrate that our method performs favorably against previous state-of-the-arts.
• Abstract（参考訳）: ドメイン一般化(DG)は、複数のソースドメインからモデルを学び、目に見えないターゲットドメインで十分なパフォーマンスを達成することを目的としている。 最近の研究は、画像テキストのアライメントとゼロショットのパフォーマンスが優れているため、CLIPをDGタスクに導入している。 従来の手法では、完全な微調整やプロンプト学習のパラダイムを使用して、CLIPをDGタスクに利用していた。 これらの研究は、CLIPでエンコードされた元の知識を壊滅的に忘れることを避けることに重点を置いている。 本稿では,DGのためのCLIP,すなわちアテンションヘッドの浄化のための新しい視点を提案する。 異なるアテンションヘッドが画像の異なる特性を符号化し、適切な選択ヘッドがドメイン間で顕著な性能向上をもたらす可能性があることを観察する。 このような観察に基づいて,CLIPの注意を,タスクレベルの浄化とドメインレベルの浄化の2段階から浄化する。 タスクレベルの浄化のために、我々は、検討したタスクに各ヘッドがより適応するように、ヘッドアウェアなLoRAを設計する。 ドメインレベルの浄化のために、簡単なゲーティング戦略を用いて頭部選択を行う。 我々はMDDの損失を利用して、マスクされた頭部の特徴をよりドメイン不変にし、より一般化可能な特性/ヘッドを強調する。 トレーニング中は,タスクレベルの浄化とドメインレベルの浄化を共同で行う。 様々な代表的DGベンチマークで実験を行う。 単純かつ広範な実験により,従来の最先端技術に対して,本手法が好適に動作することを示した。

関連論文リスト

• Rethinking Domain Adaptation and Generalization in the Era of CLIP [27.12334798260904]
  単純なドメインがCLIPのゼロショット認識を特定のドメインで促進することを示す。 また,CLIPを用いたゼロショット適応と擬似ラベルに基づく自己学習のためのベンチマークを作成する。 複数の未ラベル領域からCLIPのタスク一般化能力を改善することを提案する。
  論文  参考訳（メタデータ） (2024-07-21T14:09:14Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs [40.54076184225558]
  大言語モデル(LLM)がドメイン固有のタスクに微調整された後に、一般的なタスクのパフォーマンスが低下する。 本稿では,一般能力統合(GCI)と呼ばれる,CFを越えたドメイン固有LLMの実適用に向けた課題について述べる。 GCIの目的は、新たに獲得した汎用能力を、新しいドメイン知識と共に保持するだけでなく、両方のスキルセットを結合的に調和して利用して、ドメイン固有のタスクのパフォーマンスを高めることである。
  論文  参考訳（メタデータ） (2024-05-28T05:00:12Z)
• Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features [37.518025833882334]
  Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。 これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。 本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:22:10Z)
• INSURE: An Information Theory Inspired Disentanglement and Purification Model for Domain Generalization [55.86299081580768]
  ドメイン一般化 (Domain Generalization, DG) は、観測された複数のソースドメインのトレーニングのみにより、目に見えないターゲットドメイン上の一般化可能なモデルを学習することを目的としている。 本稿では,情報理論iNspired diSentanglement and purification modEl (INSURE)を提案する。 PACS,OfficeHome,TerraIncognita,DomainNetなど,広く使用されている4つのDGベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-09-08T01:41:35Z)
• G-MAP: General Memory-Augmented Pre-trained Language Model for Domain Tasks [68.87524746922263]
  G-MAP(General Memory Augmented Pre-trained Language Model)の新たなフレームワークを提案する。 G-MAPは、凍った一般PLMから構築されたメモリ表現によって、一般知識を失うことなくドメイン固有のPLMを増強する。 各種分野(生物・コンピュータ科学出版物,ニュース,レビュー)におけるG-MAPの有効性とタスクの種類(テキスト分類,QA,NER)について示す。
  論文  参考訳（メタデータ） (2022-12-07T13:07:24Z)
• MultiMatch: Multi-task Learning for Semi-supervised Domain Generalization [55.06956781674986]
  我々は、各ソースドメインにいくつかのラベル情報がある半教師付きドメイン一般化タスクの解決に頼っている。 我々は、MultiMatchを提案し、FixMatchをマルチタスク学習フレームワークに拡張し、SSDGのための高品質な擬似ラベルを生成する。 提案手法の有効性を検証し,いくつかのベンチマークDGデータセット上で既存の半教師付き手法とSSDG法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T14:44:33Z)
• Deep face recognition with clustering based domain adaptation [57.29464116557734]
  そこで本研究では,ターゲットドメインとソースがクラスを共有しない顔認識タスクを対象とした,クラスタリングに基づく新しいドメイン適応手法を提案する。 本手法は,特徴領域をグローバルに整列させ,その一方で,対象クラスタを局所的に識別することで,識別対象特徴を効果的に学習する。
  論文  参考訳（メタデータ） (2022-05-27T12:29:11Z)
• Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework [50.88463458896428]
  ドメイン一般化(DG)は近年,人物再同定(ReID)において注目されている。 既存のメソッドは通常、ソースドメインにラベルを付ける必要があります。 本稿では、単純で効率的なドメイン固有適応化フレームワークを提案し、適応正規化モジュールで実現する。
  論文  参考訳（メタデータ） (2021-11-30T02:35:51Z)
• Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization [25.367775241988618]
  ドメインの一般化は、一般化可能なモデルを目に見えない領域に学習することを目的とした、難しい移行学習問題である。 最近のCLIPやGPT-3のような大規模事前学習モデルは、多くの分散シフトに対して堅牢であることが示されている。 本稿では,ドメイン推論の新しい手法としてAP(Amortized Prompt)を提案する。
  論文  参考訳（メタデータ） (2021-11-25T00:25:54Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。