論文の概要: Domain Generalization by Mutual-Information Regularization with Pre-trained Models

• arxiv url: http://arxiv.org/abs/2203.10789v1
• Date: Mon, 21 Mar 2022 08:07:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 15:00:28.695784
• Title: Domain Generalization by Mutual-Information Regularization with Pre-trained Models
• Title（参考訳）: 事前学習モデルを用いた相互情報正規化によるドメイン一般化
• Authors: Junbum Cha, Kyungjae Lee, Sungrae Park, Sanghyuk Chun
• Abstract要約: ドメイン一般化(DG)は、限られたソースドメインのみを使用して、見えないターゲットドメインに一般化されたモデルを学習することを目的としている。 我々は、任意の可能な領域に一般化されたモデルであるオラクルモデルとの相互情報を用いて、DGの目的を再定式化する。 実験の結果, Oracle (MIRO) による相互情報正規化は, アウト・オブ・ディストリビューション性能を著しく向上させることがわかった。
• 参考スコア（独自算出の注目度）: 20.53534134966378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) aims to learn a generalized model to an unseen target domain using only limited source domains. Previous attempts to DG fail to learn domain-invariant representations only from the source domains due to the significant domain shifts between training and test domains. Instead, we re-formulate the DG objective using mutual information with the oracle model, a model generalized to any possible domain. We derive a tractable variational lower bound via approximating the oracle model by a pre-trained model, called Mutual Information Regularization with Oracle (MIRO). Our extensive experiments show that MIRO significantly improves the out-of-distribution performance. Furthermore, our scaling experiments show that the larger the scale of the pre-trained model, the greater the performance improvement of MIRO. Source code is available at https://github.com/kakaobrain/miro.
• Abstract（参考訳）: ドメイン一般化(DG)は、限られたソースドメインのみを使用して、見えないターゲットドメインに一般化されたモデルを学習することを目的としている。 以前のDGの試みでは、トレーニングとテストドメインの間の大きなドメインシフトのため、ソースドメインからのみドメイン不変表現を学習できなかった。 代わりに、あらゆる可能な領域に一般化されたモデルであるオラクルモデルとの相互情報を用いて、DGの目的を再定式化する。 我々は、オラクルとの相互情報正規化(miro)と呼ばれる事前学習されたモデルによってオラクルモデルを近似することで、移動可能な変分下限を導出する。 広範囲な実験により,MIROは分布外性能を著しく向上することが示された。 さらに,本実験では,事前学習モデルのスケールが大きいほど,miroの性能向上が期待できることを示した。 ソースコードはhttps://github.com/kakaobrain/miro。

関連論文リスト

• Unsupervised Domain Adaptation Using Compact Internal Representations [23.871860648919593]
  教師なしドメイン適応に対処する技術では、ソースとターゲットドメインの両方からデータポイントを共有埋め込み空間にマッピングする。 我々は、ソース領域の内部分布をよりコンパクトにする追加の手法を開発する。 組込み空間における異なるクラスのデータ表現間のマージンを増大させることで、UDAのモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-01-14T05:53:33Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
  ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。 本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
  論文  参考訳（メタデータ） (2022-10-25T18:51:51Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Dual Distribution Alignment Network for Generalizable Person Re-Identification [174.36157174951603]
  ドメイン一般化(DG)は、人物再識別(Re-ID)を扱うための有望なソリューションとして機能する 本稿では、複数のソースドメインの分布を選択的に整列させることにより、この問題に対処するDual Distribution Alignment Network(DDAN)を提案する。 大規模なDomain Generalization Re-ID(DG Re-ID)ベンチマークでDDANを評価した。
  論文  参考訳（メタデータ） (2020-07-27T00:08:07Z)
• Learning to Generate Novel Domains for Domain Generalization [115.21519842245752]
  本稿では,未知の領域によく一般化するモデルとして,複数のソースドメインから学習するタスクに焦点を当てる。 我々は、擬似ノーベル領域からデータを合成し、ソースドメインを増強するためにデータジェネレータを用いる。 我々の手法であるL2A-OTは、4つのベンチマークデータセット上で現在最先端のDG手法より優れています。
  論文  参考訳（メタデータ） (2020-07-07T09:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。