論文の概要: Is Large-Scale Pretraining the Secret to Good Domain Generalization?
- arxiv url: http://arxiv.org/abs/2412.02856v2
- Date: Thu, 23 Jan 2025 15:09:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:56:41.077211
- Title: Is Large-Scale Pretraining the Secret to Good Domain Generalization?
- Title（参考訳）: ドメイン一般化の秘密を大規模に予知することは可能か?
- Authors: Piotr Teterwak, Kuniaki Saito, Theodoros Tsiligkaridis, Bryan A. Plummer, Kate Saenko,
- Abstract要約: マルチソース・ドメイン・ジェネリゼーション(Multi-Source Domain Generalization, DG)は、複数のソース・ドメインをトレーニングし、未確認のターゲット・ドメインに対して高い分類性能を達成するタスクである。
最近の手法では、Webスケールの事前訓練されたバックボーンの堅牢な機能と、ソースデータから学んだ新機能を組み合わせることで、ベンチマーク結果を劇的に改善している。
評価されたDGメソッドはすべてDomainBed-OOPで苦労し、最近のメソッドはDomainBed-IPで優れています。
- 参考スコア（独自算出の注目度）: 69.80606575323691
- License:
- Abstract: Multi-Source Domain Generalization (DG) is the task of training on multiple source domains and achieving high classification performance on unseen target domains. Recent methods combine robust features from web-scale pretrained backbones with new features learned from source data, and this has dramatically improved benchmark results. However, it remains unclear if DG finetuning methods are becoming better over time, or if improved benchmark performance is simply an artifact of stronger pre-training. Prior studies have shown that perceptual similarity to pre-training data correlates with zero-shot performance, but we find the effect limited in the DG setting. Instead, we posit that having perceptually similar data in pretraining is not enough; and that it is how well these data were learned that determines performance. This leads us to introduce the Alignment Hypothesis, which states that the final DG performance will be high if and only if alignment of image and class label text embeddings is high. Our experiments confirm the Alignment Hypothesis is true, and we use it as an analysis tool of existing DG methods evaluated on DomainBed datasets by splitting evaluation data into In-pretraining (IP) and Out-of-pretraining (OOP). We show that all evaluated DG methods struggle on DomainBed-OOP, while recent methods excel on DomainBed-IP. Put together, our findings highlight the need for DG methods which can generalize beyond pretraining alignment.
- Abstract（参考訳）: マルチソース・ドメイン・ジェネリゼーション(Multi-Source Domain Generalization, DG)は、複数のソース・ドメインをトレーニングし、未確認のターゲット・ドメインに対して高い分類性能を達成するタスクである。
最近の手法では、Webスケールの事前訓練されたバックボーンの堅牢な機能と、ソースデータから学んだ新機能を組み合わせることで、ベンチマーク結果を劇的に改善している。
しかし、DGファインタニング法が時間とともに改善されているか、あるいはベンチマーク性能の改善が単により強力な事前学習の成果であるかどうかは不明だ。
従来の研究では、事前学習データとの知覚的類似性はゼロショット性能と相関するが、DG設定に制限がある。
その代わり、事前トレーニングで知覚的に類似したデータを持つことだけでは十分ではなく、パフォーマンスを決定するこれらのデータがいかにうまく学習されたか、と仮定する。
これにより、画像とクラスラベルのテキスト埋め込みのアライメントが高い場合に限り、最終的なDG性能が高くなるというアライメント仮説を導入することができる。
評価データをIP(In-pretraining)とOOP(Out-of-pretraining)に分割することで、DomainBedデータセット上で評価された既存のDG手法の分析ツールとして利用する。
評価されたDGメソッドはすべてDomainBed-OOPで苦労し、最近のメソッドはDomainBed-IPで優れています。
以上の結果から, 事前学習を超越したDG法の必要性が浮き彫りとなった。
関連論文リスト
- DoGE: Domain Reweighting with Generalization Estimation [42.32000165235568]
一般化推定(DoGE)を用いたDOmain再重み付けを提案する。
実験では、DoGEがベースモデルの一般化をターゲットデータ混合にどのように改善するかを広範囲に示す。
DoGEはドメイン間の依存関係を効果的に識別することができ、一貫してターゲットドメインにおけるテストの難易度を向上する。
論文 参考訳（メタデータ） (2023-10-23T22:51:58Z) - Face Presentation Attack Detection by Excavating Causal Clues and
Adapting Embedding Statistics [9.612556145185431]
顔提示攻撃検出(PAD)はドメイン適応(DA)とドメイン一般化(DG)技術を用いて未知のドメインの性能劣化に対処する。
ほとんどのDGベースのPADソリューションは、プライオリ、すなわち既知のドメインラベルに依存している。
本稿では、因果的観点から複合DGタスクとして顔PADをモデル化し、モデル最適化にリンクすることを提案する。
論文 参考訳（メタデータ） (2023-08-28T13:11:05Z) - Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。
我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
論文 参考訳（メタデータ） (2022-08-26T19:50:46Z) - On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。
いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。
我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-24T16:29:43Z) - Connect, Not Collapse: Explaining Contrastive Learning for Unsupervised
Domain Adaptation [88.5448806952394]
我々は、対象ドメインのラベル付きデータと対象ドメインのラベルなしデータを用いて、対象ドメインの分類器を学習する、教師なしドメイン適応(UDA)を考える。
ラベル付きソースとターゲットデータの特徴を学習し,ラベル付きソースデータに微調整を行うコントラスト事前学習は,強いUDA手法と競合することを示す。
論文 参考訳（メタデータ） (2022-04-01T16:56:26Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳（メタデータ） (2021-10-26T04:03:45Z) - Reappraising Domain Generalization in Neural Networks [8.06370138649329]
機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。
経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。
そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
論文 参考訳（メタデータ） (2021-10-15T10:06:40Z) - Self-Domain Adaptation for Face Anti-Spoofing [31.441928816043536]
推論時にラベルのないテストドメインデータを利用するための自己ドメイン適応フレームワークを提案する。
トレーニングステップで複数のソースドメインのデータを用いて,メタラーニングに基づく適応学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-24T08:46:39Z) - Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。
本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-03-04T23:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。