論文の概要: Ensemble of Averages: Improving Model Selection and Boosting Performance
in Domain Generalization
- arxiv url: http://arxiv.org/abs/2110.10832v1
- Date: Thu, 21 Oct 2021 00:08:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-22 16:33:41.579995
- Title: Ensemble of Averages: Improving Model Selection and Boosting Performance
in Domain Generalization
- Title（参考訳）: 平均値の集合:ドメイン一般化におけるモデル選択の改善と性能向上
- Authors: Devansh Arpit, Huan Wang, Yingbo Zhou, Caiming Xiong
- Abstract要約: ドメイン一般化(Domain Generalization, DG)設定では、特定のトレーニングドメインセットでトレーニングされたモデルが、シフトしたテストドメイン上でのカオスなパフォーマンスで悪名高い。
まず、モデルパラメータを最適化パスに沿って平均化する単純なプロトコルが、トレーニングの初期段階から始まって、ドメインの一般化性を大幅に向上させることを示す。
独立に訓練されたモデルのアンサンブルもまた、DG設定においてカオスな振る舞いを持つことを示す。
- 参考スコア（独自算出の注目度）: 63.28279815753543
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Domain Generalization (DG) settings, models trained on a given set of
training domains have notoriously chaotic performance on distribution shifted
test domains, and stochasticity in optimization (e.g. seed) plays a big role.
This makes deep learning models unreliable in real world settings. We first
show that a simple protocol for averaging model parameters along the
optimization path, starting early during training, both significantly boosts
domain generalization and diminishes the impact of stochasticity by improving
the rank correlation between the in-domain validation accuracy and out-domain
test accuracy, which is crucial for reliable model selection. Next, we show
that an ensemble of independently trained models also has a chaotic behavior in
the DG setting. Taking advantage of our observation, we show that instead of
ensembling unaveraged models, ensembling moving average models (EoA) from
different runs does increase stability and further boosts performance. On the
DomainBed benchmark, when using a ResNet-50 pre-trained on ImageNet, this
ensemble of averages achieves $88.6\%$ on PACS, $79.1\%$ on VLCS, $72.5\%$ on
OfficeHome, $52.3\%$ on TerraIncognita, and $47.4\%$ on DomainNet, an average
of $68.0\%$, beating ERM (w/o model averaging) by $\sim 4\%$. We also evaluate
a model that is pre-trained on a larger dataset, where we show EoA achieves an
average accuracy of $72.7\%$, beating its corresponding ERM baseline by $5\%$.
- Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)では、特定のトレーニングドメインのセットでトレーニングされたモデルは、分散シフトテストドメインにおけるカオス的なパフォーマンスが悪名高いことで知られ、最適化における確率性(シードなど)が大きな役割を果たす。
これにより、ディープラーニングモデルは現実世界の設定では信頼できない。
モデルパラメータを最適化経路に沿って平均化する単純なプロトコルは、トレーニングの早い段階でドメインの一般化を著しく促進し、信頼性の高いモデル選択に不可欠なドメイン内検証精度とドメイン外テスト精度のランク相関を改善することにより、確率の影響を低減させる。
次に、独立に訓練されたモデルのアンサンブルがdg設定においてカオス挙動を持つことを示す。
観測結果から,非平均モデルではなく,異なるランから移動平均モデル(EoA)をアンサンブルすることで安定性が向上し,性能がさらに向上することを示す。
ドメインベースベンチマークでは、imagenetで事前トレーニングされたresnet-50を使用すると、平均値のアンサンブルはpacで8.6\%$、vlcsで79.1\%$、officehomeで72.5\%$、地形認識で522.3\%、domainnetで47.4\%、平均で68.0\%$、erm(w/oモデル平均値)を$\sim 4\%$となる。
また、より大きなデータセット上で事前トレーニングされたモデルを評価し、EoAが平均精度72.7 %$を達成し、対応するERMベースラインを5 %$で上回ることを示す。
関連論文リスト
- DoGE: Domain Reweighting with Generalization Estimation [42.32000165235568]
一般化推定(DoGE)を用いたDOmain再重み付けを提案する。
実験では、DoGEがベースモデルの一般化をターゲットデータ混合にどのように改善するかを広範囲に示す。
DoGEはドメイン間の依存関係を効果的に識別することができ、一貫してターゲットドメインにおけるテストの難易度を向上する。
論文 参考訳（メタデータ） (2023-10-23T22:51:58Z) - Towards Unified and Effective Domain Generalization [42.579796989908914]
我々は、$textbfD$omain $textbfG$eneralizationのための新規および$textbfUnifiedフレームワークである$textbfUniDG$を提案する。
具体的には、モデルに教師なしの方法でテストデータの分布を学習させ、モデルパラメータの更新ステップに関してペナルティを課すことを推奨する。
論文 参考訳（メタデータ） (2023-10-16T02:05:03Z) - STORM: Efficient Stochastic Transformer based World Models for
Reinforcement Learning [82.03481509373037]
近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。
本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。
Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
論文 参考訳（メタデータ） (2023-10-14T16:42:02Z) - DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining [148.90031913522648]
ミニマックス最適化(DoReMi)を用いたドメイン再重み付けを提案する。
DoReMiはまず、ドメイン上のグループ分散ロバスト最適化(Group DRO)を使用して小さなプロキシモデルをトレーニングし、ドメイン重みを生成する。
次に、これらのドメインウェイトでデータセットを再サンプリングし、より大きなフルサイズのモデルをトレーニングします。
論文 参考訳（メタデータ） (2023-05-17T17:58:13Z) - Improving Domain Generalization with Domain Relations [77.63345406973097]
本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。
ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。
以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
論文 参考訳（メタデータ） (2023-02-06T08:11:16Z) - ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。
我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
論文 参考訳（メタデータ） (2022-10-17T16:31:57Z) - Efficient Pre-trained Features and Recurrent Pseudo-Labeling
inUnsupervised Domain Adaptation [6.942003070153651]
監視されていないDA問題で17の有名なImageNetモデルから最高のトレーニング済み機能を効率的に選択する方法を紹介します。
本稿では,最適な事前学習機能(prpl)を用いた再帰的擬似ラベルモデルを提案する。
論文 参考訳（メタデータ） (2021-04-27T21:35:28Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。