Fugu-MT 論文翻訳(概要): Domain Generalization via Progressive Layer-wise and Channel-wise Dropout

論文の概要: Domain Generalization via Progressive Layer-wise and Channel-wise Dropout

arxiv url: http://arxiv.org/abs/2112.03676v1
Date: Tue, 7 Dec 2021 13:23:52 GMT
ステータス: 処理完了
システム内更新日: 2021-12-08 14:33:21.533828
Title: Domain Generalization via Progressive Layer-wise and Channel-wise Dropout
Title（参考訳）: プログレッシブ層間およびチャネル間ドロップアウトによるドメイン一般化
Authors: Jintao Guo, Lei Qi, Yinghuan Shi, Yang Gao
Abstract要約: 我々は,モデルの注意領域を拡大するための効果的なドロップアウトベースのフレームワークを開発する。我々は,このプログレッシブ・スキームを利用して,トレーニング中のドロップアウトの比率を加算し,トレーニングモデルの難易度を高める。我々は、複数のベンチマークデータセットに対して広範な実験を行い、この手法が最先端の手法より優れていることを示す。
参考スコア（独自算出の注目度）: 23.961443443972932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: By training a model on multiple observed source domains, domain generalization aims to generalize well to arbitrary unseen target domains without further training. Existing works mainly focus on learning domain-invariant features to improve the generalization ability. However, since target domain is not available during training, previous methods inevitably suffer from overfitting in source domains. To tackle this issue, we develop an effective dropout-based framework to enlarge the region of the model's attention, which can effectively mitigate the overfitting problem. Particularly, different from the typical dropout scheme, which normally conducts the dropout on the fixed layer, first, we randomly select one layer, and then we randomly select its channels to conduct dropout. Besides, we leverage the progressive scheme to add the ratio of the dropout during training, which can gradually boost the difficulty of training model to enhance the robustness of the model. Moreover, to further alleviate the impact of the overfitting issue, we leverage the augmentation schemes on image-level and feature-level to yield a strong baseline model. We conduct extensive experiments on multiple benchmark datasets, which show our method can outperform the state-of-the-art methods.
Abstract（参考訳）: 複数の観測されたソースドメインでモデルをトレーニングすることで、ドメインの一般化は、さらなるトレーニングなしで任意の未発見のターゲットドメインにうまく一般化することを目的としている。既存の研究は主に一般化能力を改善するためにドメイン不変機能を学ぶことに焦点を当てている。しかし、トレーニング中にターゲットドメインが利用できないため、以前のメソッドはソースドメインのオーバーフィットに必然的に悩まされる。この問題に対処するために,モデルの注意領域を拡大する効果的なドロップアウトベースのフレームワークを開発し,オーバーフィッティング問題を効果的に軽減する。特に、通常固定層上でドロップアウトを行う典型的なドロップアウト方式とは異なり、まずランダムに1つの層を選択し、次にランダムにそのチャネルを選択してドロップアウトを行う。さらに,学習中のドロップアウトの比率を漸進的に引き上げることで,トレーニングモデルの難易度を徐々に高め,モデルの堅牢性を高めることができる。さらに,オーバーフィッティング問題の影響をさらに緩和するため,画像レベルと特徴レベルに対する拡張スキームを活用し,強いベースラインモデルを得る。複数のベンチマークデータセットに対して広範な実験を行い、この手法が最先端の手法より優れていることを示す。

関連論文リスト

DAdEE: Unsupervised Domain Adaptation in Early Exit PLMs [5.402030962296633]
Early Exit(EE)戦略は、中間層にアタッチされた分類器からサンプルを退避させることによって問題に対処する。本稿では,知識蒸留を用いた多段階適応を用いた非教師付き領域適応型EEフレームワーク(DADEE)を提案する。感情分析、エンテーメント分類、自然言語推論などのタスクの実験は、DADEEが早期出口法を一貫して上回っていることを示している。
論文参考訳（メタデータ） (2024-10-06T09:44:58Z)
MADG: Margin-based Adversarial Learning for Domain Generalization [25.45950080930517]
そこで本稿では,差分損失に基づく離散性尺度に基づく新しい逆学習DGアルゴリズムMADGを提案する。提案したMADGモデルは,すべてのソースドメインにまたがるドメイン不変の特徴を学習し,敵対的トレーニングを用いて,未知のターゲットドメインによく適応する。我々は、人気のある実世界のDGデータセット上でMADGモデルを広範囲に実験した。
論文参考訳（メタデータ） (2023-11-14T19:53:09Z)
Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
論文参考訳（メタデータ） (2023-10-11T10:21:34Z)
GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文参考訳（メタデータ） (2023-08-09T04:34:21Z)
NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
論文参考訳（メタデータ） (2023-07-25T13:35:45Z)
SUG: Single-dataset Unified Generalization for 3D Point Cloud Classification [44.27324696068285]
トレーニング済みのソースモデルが直面する予期せぬ領域差を軽減するために,単一データセット統一一般化(SUG)フレームワークを提案する。具体的には、まず、学習した表現をドメインに依存しない識別性に制約できるマルチグラニュアルサブドメインアライメント(MSA)法を設計する。次にSDA(Sample-level Domain-Aware Attention)戦略を示し、異なるサブドメインから簡単に適応できるサンプルを選択的に強化する。
論文参考訳（メタデータ） (2023-05-16T04:36:04Z)
When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
論文参考訳（メタデータ） (2022-12-01T20:15:15Z)
Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。深層モデルはトレーニングドメインスタイルしか知らない。このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
論文参考訳（メタデータ） (2022-11-08T17:36:49Z)
Learning Gradient-based Mixup towards Flatter Minima for Domain Generalization [44.04047359057987]
我々はFGMix(Flatness-aware Gradient-based Mixup)という新しい領域一般化アルゴリズムを開発した。 FGMixは、より良い一般化のためにフラットなミニマに向けて類似性関数を学ぶ。 DomainBedベンチマークでは、FGMixの様々な設計の有効性を検証し、他のDGアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-09-29T13:01:14Z)
Improving Transferability of Domain Adaptation Networks Through Domain Alignment Layers [1.3766148734487902]
マルチソースアン教師付きドメイン適応(MSDA)は、ソースモデルの袋から弱い知識を割り当てることで、ラベルのないドメインの予測子を学習することを目的としている。我々は,DomaIn Alignment Layers (MS-DIAL) のマルチソースバージョンを予測器の異なるレベルに埋め込むことを提案する。我々の手法は最先端のMSDA法を改善することができ、分類精度の相対利得は+30.64%に達する。
論文参考訳（メタデータ） (2021-09-06T18:41:19Z)
A Review of Single-Source Deep Unsupervised Visual Domain Adaptation [81.07994783143533]
大規模ラベル付きトレーニングデータセットにより、ディープニューラルネットワークは、幅広いベンチマークビジョンタスクを拡張できるようになった。多くのアプリケーションにおいて、大量のラベル付きデータを取得するのは非常に高価で時間を要する。限られたラベル付きトレーニングデータに対処するため、大規模ラベル付きソースドメインでトレーニングされたモデルを、疎ラベルまたは未ラベルのターゲットドメインに直接適用しようと試みている人も多い。
論文参考訳（メタデータ） (2020-09-01T00:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。