論文の概要: Enhancing Domain Adaptation through Prompt Gradient Alignment

• arxiv url: http://arxiv.org/abs/2406.09353v2
• Date: Sun, 27 Oct 2024 23:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:20.926915
• Title: Enhancing Domain Adaptation through Prompt Gradient Alignment
• Title（参考訳）: Prompt Gradient Alignmentによるドメイン適応の強化
• Authors: Hoang Phan, Lam Tran, Quyen Tran, Trung Le,
• Abstract要約: 我々は、ドメイン不変性と特定の特徴の両方を学ぶために、素早い学習に基づく一連の作品を開発する。 我々は、UDAを、各目的がドメイン損失で表される多重目的最適化問題とみなした。 提案手法は,異なるUDAベンチマークにおいて,他のプロンプトベースベースラインをはるかに上回っている。
• 参考スコア（独自算出の注目度）: 16.618313165111793
• License:
• Abstract: Prior Unsupervised Domain Adaptation (UDA) methods often aim to train a domain-invariant feature extractor, which may hinder the model from learning sufficiently discriminative features. To tackle this, a line of works based on prompt learning leverages the power of large-scale pre-trained vision-language models to learn both domain-invariant and specific features through a set of domain-agnostic and domain-specific learnable prompts. Those studies typically enforce invariant constraints on representation, output, or prompt space to learn such prompts. Differently, we cast UDA as a multiple-objective optimization problem in which each objective is represented by a domain loss. Under this new framework, we propose aligning per-objective gradients to foster consensus between them. Additionally, to prevent potential overfitting when fine-tuning this deep learning architecture, we penalize the norm of these gradients. To achieve these goals, we devise a practical gradient update procedure that can work under both single-source and multi-source UDA. Empirically, our method consistently surpasses other prompt-based baselines by a large margin on different UDA benchmarks.
• Abstract（参考訳）: 以前のUnsupervised Domain Adaptation (UDA) 手法は、しばしばドメイン不変の特徴抽出器を訓練することを目的としており、モデルが十分な差別的特徴を学習することを妨げる可能性がある。 これを解決するために、素早い学習に基づく一連の研究は、大規模な事前学習された視覚言語モデルの力を利用して、ドメインに依存しない、ドメイン固有の学習可能なプロンプトのセットを通じて、ドメイン不変性と特定の特徴の両方を学習する。 これらの研究は通常、そのようなプロンプトを学ぶために表現、出力、またはプロンプト空間に不変の制約を課す。 異なることに、我々はUDAを、各目的がドメイン損失によって表される多重目的最適化問題とみなした。 この新たな枠組みでは、目的ごとの勾配を整合させて、両者のコンセンサスを高めることを提案する。 さらに、このディープラーニングアーキテクチャを微調整する際の潜在的な過度な適合を防止するために、これらの勾配のノルムを罰する。 これらの目標を達成するために,単一ソースと複数ソースのUDAの下で動作可能な,実用的な段階的な更新手順を考案した。 経験的に、我々の手法は他のプロンプトベースベースラインを、異なる UDA ベンチマークで大きく上回っている。

関連論文リスト

• Prompt-based Distribution Alignment for Unsupervised Domain Adaptation [42.77798810726824]
  教師なし学習型視覚言語モデル(VLM)は、ソースドメインとターゲットドメイン間の分布差を著しく低減できることを示す。 このようなモデルを下流のUDAタスクに直接デプロイする上での大きな課題は、迅速なエンジニアリングである。 本稿では,ドメイン知識を素早い学習に組み込むためのPDA手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T06:15:04Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Domain Adaptation via Prompt Learning [39.97105851723885]
  Unsupervised Domain Adaption (UDA) は、十分にアノテーションされたソースドメインから学習したモデルをターゲットドメインに適応させることを目的としている。 我々は,Prompt Learning (DAPL) によるドメイン適応という,UDAのための新しいプロンプト学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-02-14T13:25:46Z)
• Decompose to Adapt: Cross-domain Object Detection via Feature Disentanglement [79.2994130944482]
  本研究では,DDF(Domain Disentanglement Faster-RCNN)を設計し,タスク学習のための特徴のソース固有情報を排除した。 DDF法は,グローバルトリプルト・ディアンタングルメント(GTD)モジュールとインスタンス類似性・ディアンタングルメント(ISD)モジュールを用いて,グローバルおよびローカルステージでの機能ディアンタングルを容易にする。 提案手法は,4つのUDAオブジェクト検出タスクにおいて最先端の手法より優れており,広い適用性で有効であることが実証された。
  論文  参考訳（メタデータ） (2022-01-06T05:43:01Z)
• Improving Transferability of Domain Adaptation Networks Through Domain Alignment Layers [1.3766148734487902]
  マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。 我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。 我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
  論文  参考訳（メタデータ） (2021-09-06T18:41:19Z)
• A New Bidirectional Unsupervised Domain Adaptation Segmentation Framework [27.13101555533594]
  異なるドメイン間のギャップを埋めるために、教師なしドメイン適応(UDA)技術が提案されている。 本稿では,両方向のUDA演奏に対して,非交互表現学習に基づく双方向UDAフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-18T05:25:11Z)
• AFAN: Augmented Feature Alignment Network for Cross-Domain Object Detection [90.18752912204778]
  オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。 本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。 提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2021-06-10T05:01:20Z)
• Your Classifier can Secretly Suffice Multi-Source Domain Adaptation [72.47706604261992]
  マルチソースドメイン適応(MSDA)は、複数のラベル付きソースドメインからラベルなしターゲットドメインへのタスク知識の転送を扱う。 ラベル管理下のドメインを暗黙的に整列させる深層モデルが観察されるMSDAに対して、異なる視点を提示する。
  論文  参考訳（メタデータ） (2021-03-20T12:44:13Z)
• Domain Conditioned Adaptation Network [90.63261870610211]
  本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。 これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-14T04:23:24Z)
• Cross-domain Detection via Graph-induced Prototype Alignment [114.8952035552862]
  カテゴリレベルのドメインアライメントを求めるグラフ誘発プロトタイプアライメント(GPA)フレームワークを提案する。 さらに,クラス不均衡がドメイン適応に与える影響を軽減するために,クラス重み付きコントラスト損失を設計する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-03-28T17:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。