論文の概要: Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions

• arxiv url: http://arxiv.org/abs/2310.16277v1
• Date: Wed, 25 Oct 2023 01:17:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 17:31:24.888692
• Title: Bayesian Domain Invariant Learning via Posterior Generalization of Parameter Distributions
• Title（参考訳）: パラメータ分布の後方一般化によるベイズ領域不変学習
• Authors: Shiyu Shen, Bin Pan, Tianyang Shi, Tao Li, Zhenwei Shi
• Abstract要約: PosTerior Generalization (PTG)は、DomainBed上の様々な領域の一般化ベンチマークで競合性能を示す。 PTGは、トレーニング領域における不変後部と後部を含む、近似パラメータ分布に対する変分推論を完全に活用する。
• 参考スコア（独自算出の注目度）: 29.018103152856792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain invariant learning aims to learn models that extract invariant features over various training domains, resulting in better generalization to unseen target domains. Recently, Bayesian Neural Networks have achieved promising results in domain invariant learning, but most works concentrate on aligning features distributions rather than parameter distributions. Inspired by the principle of Bayesian Neural Network, we attempt to directly learn the domain invariant posterior distribution of network parameters. We first propose a theorem to show that the invariant posterior of parameters can be implicitly inferred by aggregating posteriors on different training domains. Our assumption is more relaxed and allows us to extract more domain invariant information. We also propose a simple yet effective method, named PosTerior Generalization (PTG), that can be used to estimate the invariant parameter distribution. PTG fully exploits variational inference to approximate parameter distributions, including the invariant posterior and the posteriors on training domains. Furthermore, we develop a lite version of PTG for widespread applications. PTG shows competitive performance on various domain generalization benchmarks on DomainBed. Additionally, PTG can use any existing domain generalization methods as its prior, and combined with previous state-of-the-art method the performance can be further improved. Code will be made public.
• Abstract（参考訳）: ドメイン不変学習(domain invariant learning)は、さまざまなトレーニングドメインで不変な特徴を抽出するモデルを学ぶことを目的としている。 近年、ベイジアンニューラルネットワークはドメイン不変学習において有望な結果を得たが、ほとんどの研究はパラメータ分布ではなく特徴分布の整合に集中している。 ベイズニューラルネットワークの原理に触発されて,ネットワークパラメータの領域不変な後方分布を直接学習する。 まず,異なる訓練領域の後方を集約することで,パラメータの不変な後方を暗黙的に推測できることを示すための定理を提案する。 我々の仮定はより緩和され、より多くのドメイン不変情報を抽出することができる。 また,不変パラメータ分布を推定するための簡便で効果的な手法として,後方一般化法(ptg)を提案する。 PTGは、トレーニング領域における不変後部と後部を含む、近似パラメータ分布に対する変分推論を完全に活用する。 さらに,PTGの簡易版を開発し,応用範囲を広げた。 PTGはDomainBed上の様々なドメイン一般化ベンチマークで競合性能を示す。 さらに、PTGは既存の領域一般化手法を事前に使用することができ、従来の最先端手法と組み合わせることでパフォーマンスをさらに向上することができる。 コードは公開されます。

関連論文リスト

• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Learning to Learn Domain-invariant Parameters for Domain Generalization [29.821634033299855]
  ドメイン一般化(DG)は、ソースドメインからドメイン不変表現をキャプチャすることでこの問題を克服することを目的としている。 DDC(Domain Decoupling and Combination)とDIGB(Domain-invariance-guided Backpropagation)の2つのモジュールを提案する。 提案手法は,高い一般化能力を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-11-04T07:19:34Z)
• Domain Generalization through the Lens of Angular Invariance [44.76809026901016]
  ドメイン一般化(Domain Generalization, DG)は、複数のソースドメインで訓練された分類器を、ドメインシフトを伴う見えないターゲットドメインに一般化することを目的としている。 我々は、Angular Invariance Domain Generalization Network (AIDGN) と呼ばれる新しいディープDG手法を提案する。
  論文  参考訳（メタデータ） (2022-10-28T02:05:38Z)
• Constrained Maximum Cross-Domain Likelihood for Domain Generalization [14.91361835243516]
  ドメインの一般化は、複数のソースドメイン上で一般化可能なモデルを学ぶことを目的としている。 本稿では,異なる領域の後方分布間のKL偏差を最小限に抑える新しい領域一般化法を提案する。 Digits-DG、PACS、Office-Home、MiniDomainNetの4つの標準ベンチマークデータセットの実験は、我々のメソッドの優れたパフォーマンスを強調している。
  論文  参考訳（メタデータ） (2022-10-09T03:41:02Z)
• Adaptive Domain Generalization via Online Disagreement Minimization [17.215683606365445]
  ドメインの一般化は、モデルを目に見えないターゲットのドメインに安全に転送することを目的としています。 AdaODMは、異なるターゲットドメインに対するテスト時にソースモデルを適応的に修正する。 その結果,AdaODMは未確認領域の一般化能力を安定的に向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-03T11:51:11Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Learning Transferable Parameters for Unsupervised Domain Adaptation [29.962241958947306]
  非自明なドメイン適応(UDA)は、学習機械が分散シフトの下でラベル付きソースドメインからラベルなしドメインに適応できるようにする。 本稿では,学習過程におけるドメイン固有情報による副作用を軽減するためにTransferable Learning(TransPar)を提案する。
  論文  参考訳（メタデータ） (2021-08-13T09:09:15Z)
• A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
  ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。 本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。 2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
  論文  参考訳（メタデータ） (2021-05-09T21:33:27Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Learning to Learn with Variational Information Bottleneck for Domain Generalization [128.90691697063616]
  ドメイン一般化モデルは、これまで見つからなかった領域に一般化することを学ぶが、予測の不確実性とドメインシフトに悩まされる。 ドメイン一般化のための確率論的メタラーニングモデルを導入し、ドメイン間で共有されるパラメータを分布としてモデル化する。 ドメインシフトに対処するため、メタ変動情報ボトルネックという提案原則を用いてドメイン不変表現を学習し、メタVIBと呼ぶ。
  論文  参考訳（メタデータ） (2020-07-15T12:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。