論文の概要: Phase Matching for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2307.12622v6
• Date: Wed, 28 Aug 2024 03:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 21:31:09.068737
• Title: Phase Matching for Out-of-Distribution Generalization
• Title（参考訳）: アウト・オブ・ディストリビューション一般化のための位相マッチング
• Authors: Chengming Hu, Yeqian Du, Rui Wang, Hao Chen, Congcong Zhu,
• Abstract要約: 本稿では,ドメイン一般化(DG)と周波数成分の関係を明らかにすることを目的とした。 我々は、DG問題に対処するPhaMaと呼ばれる位相マッチング手法を提案する。 複数のベンチマーク実験により,提案手法が最先端性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 9.786356781007122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Fourier transform, an explicit decomposition method for visual signals, has been employed to explain the out-of-distribution generalization behaviors of Deep Neural Networks (DNNs). Previous studies indicate that the amplitude spectrum is susceptible to the disturbance caused by distribution shifts, whereas the phase spectrum preserves highly-structured spatial information that is crucial for robust visual representation learning. Inspired by this insight, this paper is dedicated to clarifying the relationships between Domain Generalization (DG) and the frequency components. Specifically, we provide distribution analysis and empirical experiments for the frequency components. Based on these observations, we propose a Phase Matching approach, termed PhaMa, to address DG problems. To this end, PhaMa introduces perturbations on the amplitude spectrum and establishes spatial relationships to match the phase components with patch contrastive learning. Experiments on multiple benchmarks demonstrate that our proposed method achieves state-of-the-art performance in domain generalization and out-of-distribution robustness tasks. Beyond vanilla analysis and experiments, we further clarify the relationships between the Fourier components and DG problems by introducing a Fourier-based Structural Causal Model (SCM).
• Abstract（参考訳）: 視覚信号の明示的な分解法であるフーリエ変換は、ディープニューラルネットワーク(DNN)の分布外一般化挙動を説明するために用いられている。 従来の研究では、振幅スペクトルは分布シフトによる乱れの影響を受けやすいが、位相スペクトルは頑健な視覚表現学習に不可欠な高度に構造化された空間情報を保存している。 この知見から着想を得た本論文は,ドメイン一般化(DG)と周波数成分の関係を明らかにすることを目的としている。 具体的には,周波数成分の分布解析と実験実験を行う。 これらの観測に基づいて、DG問題に対処するPhaMaと呼ばれる位相マッチング手法を提案する。 この目的のために、PhaMaは振幅スペクトルの摂動を導入し、位相成分とパッチコントラスト学習との空間的関係を確立する。 複数のベンチマーク実験により,提案手法は領域一般化および分布外ロバスト性タスクにおける最先端性能を実現することを示す。 バニラ解析や実験の他に、フーリエ構造因果モデル(SCM)を導入することにより、フーリエ成分とDG問題との関係をさらに明らかにする。

関連論文リスト

• A spectral method for multi-view subspace learning using the product of projections [0.16385815610837165]
  マルチビューデータに対する簡易かつスケーラブルな推定アルゴリズムを提案する。 特に、回転ブートストラップとランダム行列理論を用いて、観測されたスペクトルを結合、個人、ノイズ部分空間に分割する。 シミュレーションでは,既存の手法よりも高精度に結合部分空間と個々の部分空間を推定する。
  論文  参考訳（メタデータ） (2024-10-24T19:51:55Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
  遠方表現学習は、観測データ内の本質的要因を抽出する試みである。 我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。 これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
  論文  参考訳（メタデータ） (2024-02-15T05:07:54Z)
• Understanding the Expressivity and Trainability of Fourier Neural Operator: A Mean-Field Perspective [31.030338985431722]
  フーリエニューラルオペレータ(FNO)の表現性と訓練性について検討する 重み分布に基づくネットワークの秩序-カオス相転移について検討する。 規則相とカオス相は、消失と爆発する勾配の領域に対応する。
  論文  参考訳（メタデータ） (2023-10-10T07:43:41Z)
• HoloNets: Spectral Convolutions do extend to Directed Graphs [59.851175771106625]
  従来の知恵は、スペクトル畳み込みネットワークは無向グラフ上にしか展開できないと規定している。 ここでは、このグラフフーリエ変換への伝統的な依存が超フルであることを示す。 本稿では,新たに開発されたフィルタの周波数応答解釈を行い,フィルタ表現に使用するベースの影響を調査し,ネットワークを基盤とする特性演算子との相互作用について議論する。
  論文  参考訳（メタデータ） (2023-10-03T17:42:09Z)
• A Fourier-based Framework for Domain Generalization [82.54650565298418]
  ドメインの一般化は、複数のソースドメインから伝達可能な知識を学習して、未確認のターゲットドメインに一般化することでこの問題に対処することを目的としている。 本稿では、ドメイン一般化のための新しいフーリエに基づく視点を紹介する。 3つのベンチマーク実験により,提案手法は領域一般化のための最先端性能を実現することができることを示した。
  論文  参考訳（メタデータ） (2021-05-24T06:50:30Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)
• Theory inspired deep network for instantaneous-frequency extraction and signal components recovery from discrete blind-source data [1.6758573326215689]
  本稿では、未知の信号成分を回収する逆問題と周波数の抽出について考察する。 既存の分解法やアルゴリズムでは、この逆問題を解くことはできない。 本稿では、ブラインドソース信号の非一様サンプリングが可能な離散サンプルセットを直接ベースとしたディープニューラルネットワークの合成を提案する。
  論文  参考訳（メタデータ） (2020-01-31T18:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。