論文の概要: Towards Unified and Effective Domain Generalization

• arxiv url: http://arxiv.org/abs/2310.10008v1
• Date: Mon, 16 Oct 2023 02:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 17:00:44.863491
• Title: Towards Unified and Effective Domain Generalization
• Title（参考訳）: 統一的かつ効果的なドメイン一般化に向けて
• Authors: Yiyuan Zhang, Kaixiong Gong, Xiaohan Ding, Kaipeng Zhang, Fangrui Lv, Kurt Keutzer, Xiangyu Yue
• Abstract要約: 我々は、$textbfD$omain $textbfG$eneralizationのための新規および$textbfUnifiedフレームワークである$textbfUniDG$を提案する。 具体的には、モデルに教師なしの方法でテストデータの分布を学習させ、モデルパラメータの更新ステップに関してペナルティを課すことを推奨する。
• 参考スコア（独自算出の注目度）: 42.579796989908914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose $\textbf{UniDG}$, a novel and $\textbf{Uni}$fied framework for $\textbf{D}$omain $\textbf{G}$eneralization that is capable of significantly enhancing the out-of-distribution generalization performance of foundation models regardless of their architectures. The core idea of UniDG is to finetune models during the inference stage, which saves the cost of iterative training. Specifically, we encourage models to learn the distribution of test data in an unsupervised manner and impose a penalty regarding the updating step of model parameters. The penalty term can effectively reduce the catastrophic forgetting issue as we would like to maximally preserve the valuable knowledge in the original model. Empirically, across 12 visual backbones, including CNN-, MLP-, and Transformer-based models, ranging from 1.89M to 303M parameters, UniDG shows an average accuracy improvement of +5.4% on DomainBed. These performance results demonstrate the superiority and versatility of UniDG. The code is publicly available at https://github.com/invictus717/UniDG
• Abstract（参考訳）: アーキテクチャによらず、基礎モデルのアウト・オブ・ディストリビューションの一般化性能を大幅に向上させることができる、$\textbf{UniDG}$, a novel and $\textbf{Uni}$fied framework for $\textbf{D}$omain $\textbf{G}$eneralizationを提案する。 UniDGの中核となる考え方は、推論段階でモデルを微調整することであり、反復的なトレーニングのコストを削減している。 具体的には、モデルに教師なしの方法でテストデータの分布を学習させ、モデルパラメータの更新ステップに関してペナルティを課すことを推奨する。 ペナルティ用語は、原モデルの貴重な知識を最大限に保存したいという願望から、破滅的な忘れる問題を効果的に減らすことができる。 実証的には、CNN-、MLP-、Transformer-ベースモデルを含む12の視覚バックボーンにまたがって、1.89Mから303Mのパラメータがあり、UniDGはDomainBedの平均精度が+5.4%向上したことを示している。 これらの性能はUniDGの優位性と汎用性を示す。 コードはhttps://github.com/invictus717/UniDGで公開されている。

関連論文リスト

• Improving Out-of-Distribution Data Handling and Corruption Resistance via Modern Hopfield Networks [0.0]
  本研究は,コンピュータビジョンモデルによるアウト・オブ・ディストリビューションデータ処理能力の向上における,Modern Hopfield Networks (MHN) の可能性を探るものである。 我々は,MHNをベースラインモデルに統合し,ロバスト性を高めることを提案する。 本研究は,MNIST-Cデータセットのモデル性能を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2024-08-21T03:26:16Z)
• $t^3$-Variational Autoencoder: Learning Heavy-tailed Data with Student's t and Power Divergence [7.0479532872043755]
  $t3$VAEは、学生のt-distributionsを前者、エンコーダ、デコーダに組み込んだ改良されたVAEフレームワークである。 t3$VAE は CelebA や不均衡な CIFAR-100 データセットにおいて,他のモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-12-02T13:14:28Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• Domain Generalization using Pretrained Models without Fine-tuning [25.489714555859944]
  微調整事前訓練モデルは、ドメイン一般化(DG)タスクにおいて一般的なプラクティスである。 ドメイン一般化のための特別アンサンブル学習(SEDGE)という,様々な事前学習モデルを活用するための新しいドメイン一般化パラダイムを提案する。 SEDGEは、DGタスクの最先端メソッドを含む強力なベースラインと比較して、大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2022-03-09T09:33:59Z)
• Ensemble of Averages: Improving Model Selection and Boosting Performance in Domain Generalization [63.28279815753543]
  ドメイン一般化(Domain Generalization, DG)設定では、特定のトレーニングドメインセットでトレーニングされたモデルが、シフトしたテストドメイン上でのカオスなパフォーマンスで悪名高い。 まず、モデルパラメータを最適化パスに沿って平均化する単純なプロトコルが、トレーニングの初期段階から始まって、ドメインの一般化性を大幅に向上させることを示す。 独立に訓練されたモデルのアンサンブルもまた、DG設定においてカオスな振る舞いを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-21T00:08:17Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。