論文の概要: Invariant Information Bottleneck for Domain Generalization

• arxiv url: http://arxiv.org/abs/2106.06333v2
• Date: Mon, 14 Jun 2021 17:31:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:40:24.478336
• Title: Invariant Information Bottleneck for Domain Generalization
• Title（参考訳）: 領域一般化のための不変情報ボトルネック
• Authors: Bo Li, Yifei Shen, Yezhen Wang, Wenzhen Zhu, Colorado J. Reed, Jun Zhang, Dongsheng Li, Kurt Keutzer, Han Zhao
• Abstract要約: 本稿では,学習領域やテスト領域で不変な最小限の表現を学習するアルゴリズムを提案する。 表現と入力間の相互情報の最小化により、IIBは擬似不変性への依存を緩和する。 その結果、IIBは2つの評価指標に対して平均2.8%と3.8%の精度で不変学習ベースライン(例えばIRM)より優れていた。
• 参考スコア（独自算出の注目度）: 39.62337297660974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The main challenge for domain generalization (DG) is to overcome the potential distributional shift between multiple training domains and unseen test domains. One popular class of DG algorithms aims to learn representations that have an invariant causal relation across the training domains. However, certain features, called \emph{pseudo-invariant features}, may be invariant in the training domain but not the test domain and can substantially decreases the performance of existing algorithms. To address this issue, we propose a novel algorithm, called Invariant Information Bottleneck (IIB), that learns a minimally sufficient representation that is invariant across training and testing domains. By minimizing the mutual information between the representation and inputs, IIB alleviates its reliance on pseudo-invariant features, which is desirable for DG. To verify the effectiveness of the IIB principle, we conduct extensive experiments on large-scale DG benchmarks. The results show that IIB outperforms invariant learning baseline (e.g. IRM) by an average of 2.8\% and 3.8\% accuracy over two evaluation metrics.
• Abstract（参考訳）: ドメイン一般化(DG)の主な課題は、複数のトレーニングドメインと目に見えないテストドメインの間の潜在的分散シフトを克服することである。 dgアルゴリズムの一般的なクラスの一つは、トレーニング領域にまたがる不変因果関係を持つ表現を学習することである。 しかし、いくつかの特徴は \emph{pseudo-invariant features} と呼ばれ、訓練領域では不変であるがテスト領域では存在せず、既存のアルゴリズムの性能を大幅に低下させることができる。 この問題に対処するため,我々は,トレーニング領域とテスト領域間で不変である最小の表現を学習する不変情報ボトルネック(iib)と呼ばれる新しいアルゴリズムを提案する。 表現と入力の相互情報を最小化することにより、IIBはDGに望ましい擬似不変特徴への依存を緩和する。 IIB の原理の有効性を検証するため,大規模な DG ベンチマークで広範な実験を行った。 その結果,IIBは不変学習ベースライン(例)よりも優れていた。 IRM)は2つの評価指標に対して平均2.8\%と3.8\%の精度である。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Learning to Learn Domain-invariant Parameters for Domain Generalization [29.821634033299855]
  ドメイン一般化(DG)は、ソースドメインからドメイン不変表現をキャプチャすることでこの問題を克服することを目的としている。 DDC(Domain Decoupling and Combination)とDIGB(Domain-invariance-guided Backpropagation)の2つのモジュールを提案する。 提案手法は,高い一般化能力を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-11-04T07:19:34Z)
• Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
  ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。 AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。 その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-03T11:51:11Z)
• Failure Modes of Domain Generalization Algorithms [29.772370301145543]
  本稿では,ドメイン一般化アルゴリズムの評価フレームワークを提案する。 一般化誤差の最大の寄与要因は,手法,データセット,正規化強度,トレーニング長など多岐にわたる。
  論文  参考訳（メタデータ） (2021-11-26T20:04:19Z)
• A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
  ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。 本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。 2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
  論文  参考訳（メタデータ） (2021-05-09T21:33:27Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation [66.74638960925854]
  部分ドメイン適応(PDA)は、ソースドメインラベル空間がターゲットドメインを置き換えるとき、現実的で困難な問題を扱う。 本稿では,2つの領域にまたがる関連カテゴリを整合させる適応的知識伝達フレームワーク(A$2KT)を提案する。
  論文  参考訳（メタデータ） (2020-08-27T00:53:43Z)
• Dual Mixup Regularized Learning for Adversarial Domain Adaptation [19.393393465837377]
  教師なしドメイン適応のための二重混合正規化学習(DMRL)法を提案する。 DMRLは、サンプル間の一貫した予測を強化するために分類器をガイドし、潜在空間の内在構造を豊かにする。 4つのドメイン適応ベンチマークに関する一連の実証研究は、我々のアプローチが最先端を実現することを実証している。
  論文  参考訳（メタデータ） (2020-07-07T00:24:14Z)
• Gradually Vanishing Bridge for Adversarial Domain Adaptation [156.46378041408192]
  我々は,ジェネレータと判別器の両方にGVB(Gradually Vanishing Bridge)機構を併用した対向領域適応を行う。 ジェネレータでは、GVBは全体の転送困難を軽減できるだけでなく、残留ドメイン固有の特性の影響を低減できる。 判別器では、GVBは識別能力を高め、敵の訓練過程のバランスをとることに寄与する。
  論文  参考訳（メタデータ） (2020-03-30T01:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。