論文の概要: Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization

• arxiv url: http://arxiv.org/abs/2111.12853v1
• Date: Thu, 25 Nov 2021 00:25:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-05 02:56:21.294362
• Title: Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization
• Title（参考訳）: Amortized Prompt: ドメイン一般化におけるCLIPの軽量ファインチューニング
• Authors: Xin Zhang, Yusuke Iwasawa, Yutaka Matsuo, Shixiang Shane Gu
• Abstract要約: ドメインの一般化は、一般化可能なモデルを目に見えない領域に学習することを目的とした、難しい移行学習問題である。 最近のCLIPやGPT-3のような大規模事前学習モデルは、多くの分散シフトに対して堅牢であることが示されている。 本稿では,ドメイン推論の新しい手法としてAP(Amortized Prompt)を提案する。
• 参考スコア（独自算出の注目度）: 25.367775241988618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain generalization (DG) is a difficult transfer learning problem aiming to learn a generalizable model to unseen domains. Recent massive pre-trained models such as CLIP and GPT-3, i.e. foundation models (FMs), have been shown to be robust to many distribution shifts and therefore should lead to substantial improvements in DG. In this work, we study generic ways to adopt CLIP for DG problems in image classification, where we evaluate on naive zero-shot learning and full DG learning settings. For the latter, we propose AP (Amortized Prompt), as a novel approach for domain inference in the form of prompt generation. Using several standard datasets on domain generalization benchmark, namely PACS, VLCS, OfficeHome, and TerraIncognita, CLIP provides comparable performance without fine-tuning any parameters, suggesting the applicability and importance of FM in DG. In addition, we show that combining domain prompt inference with CLIP enables AP to outperform strong baselines and the naive CLIP baselines by a large margin, raising accuracy from 71.3\% to 79.3\%. We hope the simplicity and success of our approach emphasizes the importance of and leads to wider more adoption and analysis of foundation models in the field of domain generalization.
• Abstract（参考訳）: ドメイン一般化 (Domain Generalization, DG) は、一般化可能なモデルを未知の領域に学習することを目的とした、難しい伝達学習問題である。 最近のCLIPやGPT-3のような大規模事前学習モデル、すなわち基礎モデル(FM)は、多くの分散シフトに対して堅牢であることが示されており、そのため、DGは大幅に改善される。 本研究では,画像分類においてCLIPをDG問題に適用するための汎用的な手法について検討し,ゼロショット学習とフルDG学習設定の評価を行った。 後者については、プロンプト生成という形でのドメイン推論の新しいアプローチとしてap(amortized prompt)を提案する。 PACS、VLCS、OfficeHome、TerraIncognitaといったドメイン一般化ベンチマークの標準データセットを使用して、CLIPはパラメータを微調整することなく同等のパフォーマンスを提供し、DGにおけるFMの適用性と重要性を示唆している。 さらに、ドメインプロンプト推論とCLIPを組み合わせることで、APは強いベースラインと単純CLIPベースラインを大きなマージンで上回り、71.3\%から79.3\%に精度を上げることができることを示す。 このアプローチの単純さと成功が、ドメイン一般化の分野における基礎モデルのより広範な採用と分析を促進することを願っている。

関連論文リスト

• Advancing Open-Set Domain Generalization Using Evidential Bi-Level Hardest Domain Scheduler [45.71475375161575]
  Open-Set Domain Generalizationでは、新しいデータ外観(ドメイン)とオープンセット条件の両方でモデルが公開される。 適応型ドメインスケジューラを実現するために,Evidential Bi-Level Hardest Domain Scheduler (EBiL-HaDS)を提案する。
  論文  参考訳（メタデータ） (2024-09-26T05:57:35Z)
• PointDGMamba: Domain Generalization of Point Cloud Classification via Generalized State Space Model [77.00221501105788]
  ドメイン一般化(DG)は、最近、ポイントクラウド分類(PCC)モデルの、目に見えない領域への一般化性を改善するために研究されている。 本稿では、DG PCCにおける状態空間モデル(SSM)の一般化可能性について研究する。 本稿では,未知の領域に対して強い一般化性を持つ新しいフレームワークであるPointDGMambaを提案する。
  論文  参考訳（メタデータ） (2024-08-24T12:53:48Z)
• MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
  そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。 提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。 我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
  論文  参考訳（メタデータ） (2023-11-14T19:53:09Z)
• DoGE: Domain Reweighting with Generalization Estimation [42.32000165235568]
  一般化推定(DoGE)を用いたDOmain再重み付けを提案する。 実験では、DoGEがベースモデルの一般化をターゲットデータ混合にどのように改善するかを広範囲に示す。 DoGEはドメイン間の依存関係を効果的に識別することができ、一貫してターゲットドメインにおけるテストの難易度を向上する。
  論文  参考訳（メタデータ） (2023-10-23T22:51:58Z)
• Open-Set Domain Adaptation with Visual-Language Foundation Models [51.49854335102149]
  非教師なしドメイン適応(UDA)は、ソースドメインからラベルのないデータを持つターゲットドメインへの知識の転送に非常に効果的であることが証明されている。 オープンセットドメイン適応(ODA)は、トレーニングフェーズ中にこれらのクラスを識別する潜在的なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-07-30T11:38:46Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• Multi-level Consistency Learning for Semi-supervised Domain Adaptation [85.90600060675632]
  半教師付きドメイン適応(SSDA)は、完全にラベル付けされたソースドメインから学習した知識をわずかにラベル付けされたターゲットドメインに適用することを目的としている。 SSDAのための多レベル一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-09T06:41:18Z)
• Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework [50.88463458896428]
  ドメイン一般化(DG)は近年,人物再同定(ReID)において注目されている。 既存のメソッドは通常、ソースドメインにラベルを付ける必要があります。 本稿では、単純で効率的なドメイン固有適応化フレームワークを提案し、適応正規化モジュールで実現する。
  論文  参考訳（メタデータ） (2021-11-30T02:35:51Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• COLUMBUS: Automated Discovery of New Multi-Level Features for Domain Generalization via Knowledge Corruption [12.555885317622131]
  ここでは、ソースドメインの集合で訓練されたモデルが、データに触れることなく、目に見えないドメインでうまく一般化されることを期待する領域一般化問題に対処する。 コロンバス(Columbus)は、最も関連性の高い入力とマルチレベルのデータ表現を対象とする汚職によって、新機能の発見を強制する手法である。
  論文  参考訳（メタデータ） (2021-09-09T14:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。