論文の概要: PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for
Domain Generalization
- arxiv url: http://arxiv.org/abs/2112.03676v2
- Date: Sun, 17 Sep 2023 15:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 02:09:44.241037
- Title: PLACE dropout: A Progressive Layer-wise and Channel-wise Dropout for
Domain Generalization
- Title（参考訳）: place dropout: ドメイン一般化のためのプログレッシブ層別およびチャネル別ドロップアウト
- Authors: Jintao Guo, Lei Qi, Yinghuan Shi, Yang Gao
- Abstract要約: ドメイン一般化(DG)は、複数の観測されたソースドメインからジェネリックモデルを学ぶことを目的としている。
DGの最大の課題は、ソースとターゲットドメイン間のドメインギャップのため、このモデルが必然的に過度にオーバーフィットする問題に直面していることだ。
そこで我々は,DGのための新しいレイヤワイド・チャネルワイド・ドロップアウトを開発し,各レイヤをランダムに選択し,そのチャネルをランダムに選択してドロップアウトを行う。
- 参考スコア（独自算出の注目度）: 29.824723021053565
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain generalization (DG) aims to learn a generic model from multiple
observed source domains that generalizes well to arbitrary unseen target
domains without further training. The major challenge in DG is that the model
inevitably faces a severe overfitting issue due to the domain gap between
source and target domains. To mitigate this problem, some dropout-based methods
have been proposed to resist overfitting by discarding part of the
representation of the intermediate layers. However, we observe that most of
these methods only conduct the dropout operation in some specific layers,
leading to an insufficient regularization effect on the model. We argue that
applying dropout at multiple layers can produce stronger regularization
effects, which could alleviate the overfitting problem on source domains more
adequately than previous layer-specific dropout methods. In this paper, we
develop a novel layer-wise and channel-wise dropout for DG, which randomly
selects one layer and then randomly selects its channels to conduct dropout.
Particularly, the proposed method can generate a variety of data variants to
better deal with the overfitting issue. We also provide theoretical analysis
for our dropout method and prove that it can effectively reduce the
generalization error bound. Besides, we leverage the progressive scheme to
increase the dropout ratio with the training progress, which can gradually
boost the difficulty of training the model to enhance its robustness. Extensive
experiments on three standard benchmark datasets have demonstrated that our
method outperforms several state-of-the-art DG methods. Our code is available
at https://github.com/lingeringlight/PLACEdropout.
- Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、複数の観測されたソースドメインからジェネリックモデルを学習することを目的としている。
DGの最大の課題は、ソースとターゲットドメイン間のドメインギャップのため、モデルが必然的に過度にオーバーフィットする問題に直面していることだ。
この問題を軽減するため,中間層表現の一部を破棄することでオーバーフィッティングに抵抗するドロップアウト法が提案されている。
しかし,これらの手法のほとんどが,特定の層でのみドロップアウト操作を行うため,モデルに対する正規化効果が不十分であることがわかった。
複数の層にドロップアウトを適用すると、より強い正規化効果がもたらされるため、ソースドメインのオーバーフィッティング問題を従来のレイヤ固有のドロップアウト方法よりも適切に軽減できると我々は主張する。
そこで,本稿では,一層をランダムに選択し,そのチャネルをランダムに選択してドロップアウトを行う,dgのための新しい階層・チャネル・ドロップアウトを開発した。
特に, 提案手法は, オーバーフィッティング問題に対処するため, 様々なデータ変種を生成できる。
また, ドロップアウト法の理論解析を行い, 一般化誤差を効果的に低減できることを示す。
また,本手法を活用し,トレーニング進行に伴うドロップアウト率の向上を図り,モデルのロバスト性を高めるためのトレーニングの難易度を徐々に高めていく。
3つの標準ベンチマークデータセットに対する大規模な実験により、我々の手法はいくつかの最先端DG法より優れていることが示された。
私たちのコードはhttps://github.com/lingeringlight/placedropoutで利用可能です。
関連論文リスト
- DAdEE: Unsupervised Domain Adaptation in Early Exit PLMs [5.402030962296633]
Early Exit(EE)戦略は、中間層にアタッチされた分類器からサンプルを退避させることによって問題に対処する。
本稿では,知識蒸留を用いた多段階適応を用いた非教師付き領域適応型EEフレームワーク(DADEE)を提案する。
感情分析、エンテーメント分類、自然言語推論などのタスクの実験は、DADEEが早期出口法を一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2024-10-06T09:44:58Z) - MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。
提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。
我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
論文 参考訳（メタデータ） (2023-11-14T19:53:09Z) - Domain Generalization Guided by Gradient Signal to Noise Ratio of
Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。
本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文 参考訳（メタデータ） (2023-10-11T10:21:34Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。
本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。
テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文 参考訳（メタデータ） (2023-07-25T13:35:45Z) - SUG: Single-dataset Unified Generalization for 3D Point Cloud
Classification [44.27324696068285]
トレーニング済みのソースモデルが直面する予期せぬ領域差を軽減するために,単一データセット統一一般化(SUG)フレームワークを提案する。
具体的には、まず、学習した表現をドメインに依存しない識別性に制約できるマルチグラニュアルサブドメインアライメント(MSA)法を設計する。
次にSDA(Sample-level Domain-Aware Attention)戦略を示し、異なるサブドメインから簡単に適応できるサンプルを選択的に強化する。
論文 参考訳（メタデータ） (2023-05-16T04:36:04Z) - When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。
本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。
我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。
本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文 参考訳（メタデータ） (2022-12-01T20:15:15Z) - Normalization Perturbation: A Simple Domain Generalization Method for
Real-World Domain Shifts [133.99270341855728]
実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。
深層モデルはトレーニングドメインスタイルしか知らない。
このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
論文 参考訳（メタデータ） (2022-11-08T17:36:49Z) - Learning Gradient-based Mixup towards Flatter Minima for Domain
Generalization [44.04047359057987]
我々はFGMix(Flatness-aware Gradient-based Mixup)という新しい領域一般化アルゴリズムを開発した。
FGMixは、より良い一般化のためにフラットなミニマに向けて類似性関数を学ぶ。
DomainBedベンチマークでは、FGMixの様々な設計の有効性を検証し、他のDGアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-09-29T13:01:14Z) - Improving Transferability of Domain Adaptation Networks Through Domain
Alignment Layers [1.3766148734487902]
マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。
我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。
我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
論文 参考訳（メタデータ） (2021-09-06T18:41:19Z) - A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。
多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。
限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文 参考訳（メタデータ） (2020-09-01T00:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。