論文の概要: Quantifying and Improving Transferability in Domain Generalization
- arxiv url: http://arxiv.org/abs/2106.03632v1
- Date: Mon, 7 Jun 2021 14:04:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 18:48:52.233868
- Title: Quantifying and Improving Transferability in Domain Generalization
- Title（参考訳）: ドメイン一般化における転送可能性の定量化と改善
- Authors: Guojun Zhang, Han Zhao, Yaoliang Yu, Pascal Poupart
- Abstract要約: アウト・オブ・ディストリビューションの一般化は、実験室から現実世界にモデルを移す際の重要な課題の1つである。
我々は、領域一般化において量子化と計算が可能な転送可能性を正式に定義する。
転送可能な特徴を学習し、様々なベンチマークデータセット上でテストするための新しいアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 53.16289325326505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-distribution generalization is one of the key challenges when
transferring a model from the lab to the real world. Existing efforts mostly
focus on building invariant features among source and target domains. Based on
invariant features, a high-performing classifier on source domains could
hopefully behave equally well on a target domain. In other words, the invariant
features are \emph{transferable}. However, in practice, there are no perfectly
transferable features, and some algorithms seem to learn ''more transferable''
features than others. How can we understand and quantify such
\emph{transferability}? In this paper, we formally define transferability that
one can quantify and compute in domain generalization. We point out the
difference and connection with common discrepancy measures between domains,
such as total variation and Wasserstein distance. We then prove that our
transferability can be estimated with enough samples and give a new upper bound
for the target error based on our transferability. Empirically, we evaluate the
transferability of the feature embeddings learned by existing algorithms for
domain generalization. Surprisingly, we find that many algorithms are not quite
learning transferable features, although few could still survive. In light of
this, we propose a new algorithm for learning transferable features and test it
over various benchmark datasets, including RotatedMNIST, PACS, Office-Home and
WILDS-FMoW. Experimental results show that the proposed algorithm achieves
consistent improvement over many state-of-the-art algorithms, corroborating our
theoretical findings.
- Abstract（参考訳）: アウト・オブ・ディストリビューションの一般化は、実験室から現実世界にモデルを移す際の重要な課題の1つである。
既存の取り組みは主にソースとターゲットドメイン間の不変機能の構築に焦点を当てている。
不変な特徴に基づいて、ソースドメイン上のハイパフォーマンスな分類器がターゲットドメイン上で同じように振る舞うことが望ましい。
言い換えると、不変な特徴は \emph{transferable} である。
しかし実際には、完全に転送可能な機能は存在せず、'より転送可能な'機能を学習するアルゴリズムもある。
そのような 'emph{transferability} を理解して定量化するには?
本稿では、ドメインの一般化において量子化と計算が可能な転送可能性を形式的に定義する。
総変量やワッサーシュタイン距離といった領域間の共通差測度との差と関係を指摘する。
次に, 転送可能性について十分なサンプルで推定できることを証明し, 転送可能性に基づいて, 対象誤差に対する新たな上限を与える。
実験により,既存アルゴリズムで学習した特徴埋め込みの領域一般化性を評価する。
驚くべきことに、多くのアルゴリズムは転送可能な機能を十分に学習していないことが分かりました。
そこで我々は,移動可能な特徴を学習し,RotatedMNIST,PACS,Office-Home,WILDS-FMoWなど,さまざまなベンチマークデータセット上でテストするアルゴリズムを提案する。
実験の結果,提案アルゴリズムは,多くの最先端アルゴリズムに対して一貫した改善を達成し,理論的知見を裏付けることがわかった。
関連論文リスト
- Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。
特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。
提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
論文 参考訳（メタデータ） (2022-11-09T04:16:21Z) - Domain-invariant Feature Exploration for Domain Generalization [35.99082628524934]
ドメイン不変の機能は、内部と相互の双方から派生すべきである、と我々は主張する。
ドメイン不変な特徴展開のためのDIFEXを提案する。
時系列とビジュアルベンチマークの両方の実験は、提案したDIFEXが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2022-07-25T09:55:55Z) - Learning Transferable Parameters for Unsupervised Domain Adaptation [29.962241958947306]
非自明なドメイン適応(UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。
本稿では,学習過程におけるドメイン固有情報による副作用を軽減するためにTransferable Learning(TransPar)を提案する。
論文 参考訳（メタデータ） (2021-08-13T09:09:15Z) - Invariant Information Bottleneck for Domain Generalization [39.62337297660974]
本稿では,学習領域やテスト領域で不変な最小限の表現を学習するアルゴリズムを提案する。
表現と入力間の相互情報の最小化により、IIBは擬似不変性への依存を緩和する。
その結果、IIBは2つの評価指標に対して平均2.8%と3.8%の精度で不変学習ベースライン(例えばIRM)より優れていた。
論文 参考訳（メタデータ） (2021-06-11T12:12:40Z) - A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。
本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。
2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
論文 参考訳（メタデータ） (2021-05-09T21:33:27Z) - Transferable Semantic Augmentation for Domain Adaptation [14.623272346517794]
本稿では,分類器適応能力を高めるためにTSA(Transferable Semantic Augmentation)アプローチを提案する。
TSAは、ターゲットセマンティクスに対するソース機能を暗黙的に生成する。
軽量で汎用的な技術として、TSAは様々な領域適応法に簡単に接続できる。
論文 参考訳（メタデータ） (2021-03-23T14:04:11Z) - A Theory of Label Propagation for Subpopulation Shift [61.408438422417326]
ラベル伝搬に基づくドメイン適応のための有効なフレームワークを提案する。
アルゴリズム全体でエンドツーエンドの有限サンプル保証を得る。
理論的なフレームワークを、第3のラベルなしデータセットに基づいたソースからターゲットへの転送のより一般的な設定に拡張します。
論文 参考訳（メタデータ） (2021-02-22T17:27:47Z) - Heuristic Domain Adaptation [105.59792285047536]
Heuristic Domain Adaptation Network (HDAN)は、ドメイン不変およびドメイン固有表現を明示的に学習する。
Heuristic Domain Adaptation Network (HDAN)は、教師なしDA、マルチソースDA、半教師なしDAの最先端を超越している。
論文 参考訳（メタデータ） (2020-11-30T04:21:35Z) - Interventional Domain Adaptation [81.0692660794765]
ドメイン適応(DA)は、ソースドメインからターゲットドメインに学習した差別的特徴を転送することを目的としている。
標準的なドメイン不変学習は、素早い相関に悩まされ、ソース固有性を誤って転送する。
ドメイン固有部分とドメイン共有部分とを区別する反ファクト機能を作成します。
論文 参考訳（メタデータ） (2020-11-07T09:53:13Z) - Gradually Vanishing Bridge for Adversarial Domain Adaptation [156.46378041408192]
我々は,ジェネレータと判別器の両方にGVB(Gradually Vanishing Bridge)機構を併用した対向領域適応を行う。
ジェネレータでは、GVBは全体の転送困難を軽減できるだけでなく、残留ドメイン固有の特性の影響を低減できる。
判別器では、GVBは識別能力を高め、敵の訓練過程のバランスをとることに寄与する。
論文 参考訳（メタデータ） (2020-03-30T01:36:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。