論文の概要: PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for Domain Generalization

• arxiv url: http://arxiv.org/abs/2112.03676v2
• Date: Sun, 17 Sep 2023 15:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 02:09:44.241037
• Title: PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for Domain Generalization
• Title（参考訳）: place dropout: ドメイン一般化のためのプログレッシブ層別およびチャネル別ドロップアウト
• Authors: Jintao Guo, Lei Qi, Yinghuan Shi, Yang Gao
• Abstract要約: ドメイン一般化(DG)は、複数の観測されたソースドメインからジェネリックモデルを学ぶことを目的としている。 DGの最大の課題は、ソースとターゲットドメイン間のドメインギャップのため、このモデルが必然的に過度にオーバーフィットする問題に直面していることだ。 そこで我々は,DGのための新しいレイヤワイド・チャネルワイド・ドロップアウトを開発し,各レイヤをランダムに選択し,そのチャネルをランダムに選択してドロップアウトを行う。
• 参考スコア（独自算出の注目度）: 29.824723021053565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) aims to learn a generic model from multiple observed source domains that generalizes well to arbitrary unseen target domains without further training. The major challenge in DG is that the model inevitably faces a severe overfitting issue due to the domain gap between source and target domains. To mitigate this problem, some dropout-based methods have been proposed to resist overfitting by discarding part of the representation of the intermediate layers. However, we observe that most of these methods only conduct the dropout operation in some specific layers, leading to an insufficient regularization effect on the model. We argue that applying dropout at multiple layers can produce stronger regularization effects, which could alleviate the overfitting problem on source domains more adequately than previous layer-specific dropout methods. In this paper, we develop a novel layer-wise and channel-wise dropout for DG, which randomly selects one layer and then randomly selects its channels to conduct dropout. Particularly, the proposed method can generate a variety of data variants to better deal with the overfitting issue. We also provide theoretical analysis for our dropout method and prove that it can effectively reduce the generalization error bound. Besides, we leverage the progressive scheme to increase the dropout ratio with the training progress, which can gradually boost the difficulty of training the model to enhance its robustness. Extensive experiments on three standard benchmark datasets have demonstrated that our method outperforms several state-of-the-art DG methods. Our code is available at https://github.com/lingeringlight/PLACEdropout.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、複数の観測されたソースドメインからジェネリックモデルを学習することを目的としている。 DGの最大の課題は、ソースとターゲットドメイン間のドメインギャップのため、モデルが必然的に過度にオーバーフィットする問題に直面していることだ。 この問題を軽減するため,中間層表現の一部を破棄することでオーバーフィッティングに抵抗するドロップアウト法が提案されている。 しかし,これらの手法のほとんどが,特定の層でのみドロップアウト操作を行うため,モデルに対する正規化効果が不十分であることがわかった。 複数の層にドロップアウトを適用すると、より強い正規化効果がもたらされるため、ソースドメインのオーバーフィッティング問題を従来のレイヤ固有のドロップアウト方法よりも適切に軽減できると我々は主張する。 そこで,本稿では,一層をランダムに選択し,そのチャネルをランダムに選択してドロップアウトを行う,dgのための新しい階層・チャネル・ドロップアウトを開発した。 特に, 提案手法は, オーバーフィッティング問題に対処するため, 様々なデータ変種を生成できる。 また, ドロップアウト法の理論解析を行い, 一般化誤差を効果的に低減できることを示す。 また,本手法を活用し,トレーニング進行に伴うドロップアウト率の向上を図り,モデルのロバスト性を高めるためのトレーニングの難易度を徐々に高めていく。 3つの標準ベンチマークデータセットに対する大規模な実験により、我々の手法はいくつかの最先端DG法より優れていることが示された。 私たちのコードはhttps://github.com/lingeringlight/placedropoutで利用可能です。

関連論文リスト

• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• LatentDR: Improving Model Generalization Through Sample-Aware Latent Degradation and Restoration [22.871920291497094]
  本稿では,分布認識型潜伏増大のための新しいアプローチを提案する。 我々の手法はまず潜伏空間のサンプルを分解し、拡張ラベルにマッピングし、トレーニング中にサンプルを復元する。 提案手法は,より一般化可能なモデルの構築において,その汎用性を示すとともに,長尾認識タスクに柔軟に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-08-28T14:08:42Z)
• A Novel Cross-Perturbation for Single Domain Generalization [46.8767736833229]
  単一ドメインの一般化は、モデルが単一のソースドメインでトレーニングされたときに未知のドメインに一般化する能力を高めることを目的としている。 トレーニングデータの限られた多様性は、ドメイン不変の特徴の学習を妨げ、結果として一般化性能を損なう。 トレーニングデータの多様性を高めるために,CPerbを提案する。
  論文  参考訳（メタデータ） (2023-08-02T03:16:12Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [46.896887020533086]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Gradient Estimation for Unseen Domain Risk Minimization with Pre-Trained Models [6.3671178249601805]
  大規模事前学習モデルは、その一般化力を活用することにより、領域の一般化を促進することができる。 これらの事前訓練されたモデルは、未訓練の目標と目標のタスクの相違により、まだ目標とするタスク固有の知識を欠いている。 本研究では、観測不能な勾配を推定し、目に見えない領域の潜在的なリスクを低減する新しい領域一般化法を提案する。
  論文  参考訳（メタデータ） (2023-02-03T02:12:09Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Gradient Regularized Contrastive Learning for Continual Domain Adaptation [86.02012896014095]
  本稿では,ラベル付きソースドメインと非ラベル付きターゲットドメインのシーケンスでモデルを提示する連続的なドメイン適応の問題について検討する。 障害を解決するため,グラディエント正規化コントラスト学習(GRCL)を提案する。 Digits、DomainNet、Office-Caltechベンチマークの実験は、我々のアプローチの強力なパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2021-03-23T04:10:42Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。