論文の概要: How Does Distribution Matching Help Domain Generalization: An Information-theoretic Analysis

• arxiv url: http://arxiv.org/abs/2406.09745v1
• Date: Fri, 14 Jun 2024 06:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 14:53:58.813895
• Title: How Does Distribution Matching Help Domain Generalization: An Information-theoretic Analysis
• Title（参考訳）: 分布マッチングはドメインの一般化にどのように役立つか:情報理論解析
• Authors: Yuxin Dong, Tieliang Gong, Hong Chen, Shuangyong Song, Weizhan Zhang, Chen Li,
• Abstract要約: ドメインの一般化を新しい確率論的観点から定式化する。 一般化を促進する上での勾配と表現マッチングの役割について重要な知見を提供する。 これらの理論的な知見を踏まえ、ドメイン間の勾配と表現を同時に調整するIDMを導入する。
• 参考スコア（独自算出の注目度）: 21.685468628033206
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Domain generalization aims to learn invariance across multiple training domains, thereby enhancing generalization against out-of-distribution data. While gradient or representation matching algorithms have achieved remarkable success, these methods generally lack generalization guarantees or depend on strong assumptions, leaving a gap in understanding the underlying mechanism of distribution matching. In this work, we formulate domain generalization from a novel probabilistic perspective, ensuring robustness while avoiding overly conservative solutions. Through comprehensive information-theoretic analysis, we provide key insights into the roles of gradient and representation matching in promoting generalization. Our results reveal the complementary relationship between these two components, indicating that existing works focusing solely on either gradient or representation alignment are insufficient to solve the domain generalization problem. In light of these theoretical findings, we introduce IDM to simultaneously align the inter-domain gradients and representations. Integrated with the proposed PDM method for complex distribution matching, IDM achieves superior performance over various baseline methods.
• Abstract（参考訳）: ドメインの一般化は、複数のトレーニングドメイン間での不変性を学習することを目的としており、アウト・オブ・ディストリビューションデータに対する一般化を強化する。 勾配や表現マッチングアルゴリズムは目覚ましい成功を収めているが、これらの手法は一般に一般化の保証を欠いているか、あるいは強い仮定に依存しており、分布マッチングの基本的なメカニズムのギャップを残している。 本研究では、新しい確率論的観点から領域一般化を定式化し、過度に保守的な解を避けながら堅牢性を確保する。 包括的情報理論解析を通じて、一般化を促進する上での勾配と表現マッチングの役割について重要な知見を提供する。 その結果、これらの2つの成分間の相補的関係が明らかとなり、領域一般化問題を解くには、勾配や配向アライメントにのみ焦点をあてる既存の研究が不十分であることが示唆された。 これらの理論的な知見を踏まえ、ドメイン間の勾配と表現を同時に調整するIDMを導入する。 複雑な分布マッチングのためのPDM法と統合して,様々なベースライン法よりも優れた性能を実現する。

関連論文リスト

• Causally Inspired Regularization Enables Domain General Representations [14.036422506623383]
  異なるドメイン/ディストリビューション間で共有されるデータ生成プロセスを表す因果グラフが与えられた場合、十分なグラフで実装された条件付き独立性は、ドメイン一般(非スパージャ)の特徴表現を識別することができる。 本稿では,素早い特徴の事前知識(あるいはプロキシ)を伴わないドメイン汎用特徴表現の同定に十分であることを示す,正規化を伴う新しいフレームワークを提案する。 提案手法は、合成データと実世界のデータの両方に有効であり、平均および最悪のドメイン転送精度で、他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-04-25T01:33:55Z)
• Domain Generalisation via Risk Distribution Matching [17.334794920092577]
  本稿では,リスク分布を利用した領域一般化(DG)手法を提案する。 テストでは、同様の、あるいは潜在的に大きな、リスク分布のばらつきを観察することができる。 リスク分散マッチング(RDM)は最先端DG法よりも優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2023-10-28T05:23:55Z)
• Mix and Reason: Reasoning over Semantic Topology with Data Mixing for Domain Generalization [48.90173060487124]
  ドメイン一般化(DG)は、複数のソースドメインから見えないターゲットドメインへの学習マシンを可能にする。 mire は2つのキーコンポーネント、すなわち Category-Aware Data Mixing (CDM) と Adaptive Semantic Topology Refinement (ASTR) で構成されている。 複数のDGベンチマーク実験により,提案法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2022-10-14T06:52:34Z)
• Compound Domain Generalization via Meta-Knowledge Encoding [55.22920476224671]
  マルチモーダル分布を再正規化するために,スタイル駆動型ドメイン固有正規化(SDNorm)を導入する。 組込み空間における関係モデリングを行うために,プロトタイプ表現,クラスセントロイドを利用する。 4つの標準ドメイン一般化ベンチマークの実験により、COMENはドメインの監督なしに最先端のパフォーマンスを上回ることが判明した。
  論文  参考訳（メタデータ） (2022-03-24T11:54:59Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Dual Reweighting Domain Generalization for Face Presentation Attack Detection [40.63170532438904]
  ドメイン一般化(DG)に基づく対面的アンチスポーフィング(英語版)アプローチは、目に見えないシナリオに対する堅牢性から注目されている。 以前の方法は、トレーニングプロセス中に複数のドメインから各サンプルを無差別に処理する。 本稿では, サンプル間の相対的重要性を反復的に重み付けし, 一般化をさらに改善する新しいデュアルリヘアリングドメイン一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T15:24:34Z)
• An Online Learning Approach to Interpolation and Extrapolation in Domain Generalization [53.592597682854944]
  リスクを最小化するプレイヤーと新しいテストを示す敵の間のオンラインゲームとしてサブグループの一般化を再放送する。 両課題に対してERMは極小最適であることを示す。
  論文  参考訳（メタデータ） (2021-02-25T19:06:48Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。