論文の概要: Domain Generalization Needs Stochastic Weight Averaging for Robustness on Domain Shifts

• arxiv url: http://arxiv.org/abs/2102.08604v1
• Date: Wed, 17 Feb 2021 06:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:45:36.854622
• Title: Domain Generalization Needs Stochastic Weight Averaging for Robustness on Domain Shifts
• Title（参考訳）: ドメインの一般化は、ドメインシフトのロバスト性に対する確率的ウェイト平均化を必要とする
• Authors: Junbum Cha, Hancheol Cho, Kyungjae Lee, Seunghyun Park, Yunsung Lee, Sungrae Park
• Abstract要約: ドメイン一般化は、複数のソースドメインからターゲットドメインを非表示にするための一般化モデルを学ぶことを目的としている。 最近のベンチマークは、ほとんどのアプローチが単純な経験的リスク最小化と比較して大幅な改善を提供していないことを示している。 本稿では,ermがドメイン不変特徴学習やドメイン固有正規化においてどのように機能するかを分析する。
• 参考スコア（独自算出の注目度）: 19.55308715031151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization aims to learn a generalizable model to unseen target domains from multiple source domains. Various approaches have been proposed to address this problem. However, recent benchmarks show that most of them do not provide significant improvements compared to the simple empirical risk minimization (ERM) in practical cases. In this paper, we analyze how ERM works in views of domain-invariant feature learning and domain-specific gradient normalization. In addition, we observe that ERM converges to a loss valley shared over multiple training domains and obtain an insight that a center of the valley generalizes better. To estimate the center, we employ stochastic weight averaging (SWA) and provide theoretical analysis describing how SWA supports the generalization bound for an unseen domain. As a result, we achieve state-of-the-art performances over all of widely used domain generalization benchmarks, namely PACS, VLCS, OfficeHome, TerraIncognita, and DomainNet with large margins. Further analysis reveals how SWA operates on domain generalization tasks.
• Abstract（参考訳）: ドメイン一般化は、複数のソースドメインからターゲットドメインを非表示にするための一般化モデルを学ぶことを目的としている。 この問題を解決するための様々なアプローチが提案されている。 しかし、最近のベンチマークでは、そのほとんどが実用的なケースでの単純な経験的リスク最小化(erm)と比較して大きな改善を提供していないことが示されている。 本稿では,ermがドメイン不変特徴学習やドメイン固有勾配正規化においてどのように機能するかを分析する。 さらに,複数の訓練領域で共有される損失谷にermが収束するのを観察し,その中心がより一般化しているという知見を得た。 センターの推定には、確率重み平均(SWA)を使用し、SWAが見えない領域に対する一般化をどのようにサポートするかを理論的に分析します。 その結果,pacs,vlcs,officehome,landscognita,domainnetなど,広く使用されているすべてのドメイン一般化ベンチマークに対して,最先端のパフォーマンスを実現することができた。 さらに分析すると、SWAがドメイン一般化タスクでどのように動作するかがわかる。

関連論文リスト

• Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis [59.73582306457387]
  クロスドメイン感情分析における領域一般化の問題に焦点をあてる。 本稿では,ドメイン固有表現とドメイン不変表現をアンタングル化するバックドア調整に基づく因果モデルを提案する。 一連の実験は、我々のモデルの優れたパフォーマンスと堅牢性を示しています。
  論文  参考訳（メタデータ） (2024-02-22T13:26:56Z)
• Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
  Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。 既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。 各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-05-23T18:01:49Z)
• Improving Generalization with Domain Convex Game [32.07275105040802]
  ドメインの一般化は、複数のソースドメインを持つモデルを学習することで、ディープニューラルネットワークの貧弱な一般化能力を緩和する傾向がある。 DG の古典的な解は領域拡大であり、その一般的な信念は、ソース領域の多様化は分布外一般化に導かれるということである。 モデル一般化と領域の多様性の相関は厳密には正ではなく,ドメイン拡張の有効性を制限している。
  論文  参考訳（メタデータ） (2023-03-23T14:27:49Z)
• INDIGO: Intrinsic Multimodality for Domain Generalization [26.344372409315177]
  マルチモーダル情報がどのように「本質的な」方法で活用され、システムが目に見えない領域の下で一般化されるかを検討する。 IntriNsic multimodality for DomaIn GeneralizatiOn (INDIGO)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:41:09Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Exploiting Domain-Specific Features to Enhance Domain Generalization [10.774902700296249]
  ドメイン一般化(Domain Generalization, DG)は、観測されていないターゲットドメインで正常に動作するために、複数の観測されたソースドメインからモデルをトレーニングすることを目的としている。 以前のDGアプローチでは、ターゲットドメインを一般化するために、ソース間でのドメイン不変情報を抽出することに重点を置いていた。 本稿ではメタドメイン固有ドメイン不変量(mD)を提案する。
  論文  参考訳（メタデータ） (2021-10-18T15:42:39Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)
• Learning to Balance Specificity and Invariance for In and Out of Domain Generalization [27.338573739304604]
  ドメイン内および外部の一般化性能を改善するモデルである一般化のためのドメイン固有マスクを紹介する。 ドメインの一般化のために、ゴールはソースドメインの集合から学び、見えないターゲットドメインに最もよく一般化する単一のモデルを作成することである。 本研究では,PACSとDomainNetの両面において,単純なベースラインと最先端の手法と比較して,競争力のある性能を示す。
  論文  参考訳（メタデータ） (2020-08-28T20:39:51Z)
• Learning to Learn with Variational Information Bottleneck for Domain Generalization [128.90691697063616]
  ドメイン一般化モデルは、これまで見つからなかった領域に一般化することを学ぶが、予測の不確実性とドメインシフトに悩まされる。 ドメイン一般化のための確率論的メタラーニングモデルを導入し、ドメイン間で共有されるパラメータを分布としてモデル化する。 ドメインシフトに対処するため、メタ変動情報ボトルネックという提案原則を用いてドメイン不変表現を学習し、メタVIBと呼ぶ。
  論文  参考訳（メタデータ） (2020-07-15T12:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。