論文の概要: Global-Local Regularization Via Distributional Robustness
- arxiv url: http://arxiv.org/abs/2203.00553v1
- Date: Tue, 1 Mar 2022 15:36:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 16:45:40.434804
- Title: Global-Local Regularization Via Distributional Robustness
- Title（参考訳）: 分布的ロバスト性によるグローバル局所正規化
- Authors: Hoang Phan, Trung Le, Trung Phung, Tuan Anh Bui, Nhat Ho and Dinh
Phung
- Abstract要約: ディープニューラルネットワークは、しばしば敵の例や分布シフトに弱い。
最近のアプローチでは、分散ロバストネス最適化(DRO)を利用して、最も難しい分布を見つける。
本稿では,Wasserstein をベースとした DRO フレームワークの後継として,新たな正規化手法を提案する。
- 参考スコア（独自算出の注目度）: 26.983769514262736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite superior performance in many situations, deep neural networks are
often vulnerable to adversarial examples and distribution shifts, limiting
model generalization ability in real-world applications. To alleviate these
problems, recent approaches leverage distributional robustness optimization
(DRO) to find the most challenging distribution, and then minimize loss
function over this most challenging distribution. Regardless of achieving some
improvements, these DRO approaches have some obvious limitations. First, they
purely focus on local regularization to strengthen model robustness, missing a
global regularization effect which is useful in many real-world applications
(e.g., domain adaptation, domain generalization, and adversarial machine
learning). Second, the loss functions in the existing DRO approaches operate in
only the most challenging distribution, hence decouple with the original
distribution, leading to a restrictive modeling capability. In this paper, we
propose a novel regularization technique, following the veins of
Wasserstein-based DRO framework. Specifically, we define a particular joint
distribution and Wasserstein-based uncertainty, allowing us to couple the
original and most challenging distributions for enhancing modeling capability
and applying both local and global regularizations. Empirical studies on
different learning problems demonstrate that our proposed approach
significantly outperforms the existing regularization approaches in various
domains: semi-supervised learning, domain adaptation, domain generalization,
and adversarial machine learning.
- Abstract（参考訳）: 多くの状況において優れた性能にもかかわらず、ディープニューラルネットワークは敵の例や分布シフトに対して脆弱であり、現実世界のアプリケーションではモデル一般化能力を制限する。
これらの問題を緩和するために、近年のアプローチでは、分散ロバストネス最適化(DRO)を活用し、最も難しい分布を見つけ、最も難しい分布に対して損失関数を最小化する。
いくつかの改善はともかく、これらのDROアプローチにはいくつかの明らかな制限がある。
まず、モデルロバスト性を強化するために局所正規化に集中し、多くの実世界のアプリケーション(例えば、ドメイン適応、ドメイン一般化、および敵機械学習)で有用なグローバル正規化効果を欠いている。
第二に、既存のDROアプローチにおける損失関数は最も困難な分布のみで動作し、したがって元の分布と分離され、制限的なモデリング能力をもたらす。
本稿では,wasserstein を基盤とする dro framework の脈絡に従う新しい正規化手法を提案する。
具体的には、特定のジョイント分布とwassersteinベースの不確実性を定義し、モデリング能力を高め、局所正規化とグローバル正規化の両方を適用するために、オリジナルかつ最も挑戦的な分布を結合できる。
異なる学習問題に関する実証的研究により,提案手法は,半教師付き学習,ドメイン適応,ドメイン一般化,対向機械学習など,様々な領域において,既存の正規化アプローチを著しく上回っていることが示された。
関連論文リスト
- Non-stationary Domain Generalization: Theory and Algorithm [11.781050299571692]
本稿では,非定常環境における領域一般化について検討する。
まず,環境非定常性がモデル性能に及ぼす影響について検討する。
そこで我々は適応不変表現学習に基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-10T21:32:43Z) - Normalization Perturbation: A Simple Domain Generalization Method for
Real-World Domain Shifts [133.99270341855728]
実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。
深層モデルはトレーニングドメインスタイルしか知らない。
このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
論文 参考訳（メタデータ） (2022-11-08T17:36:49Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳（メタデータ） (2022-08-18T06:42:49Z) - Generalizing to Unseen Domains with Wasserstein Distributional Robustness under Limited Source Knowledge [22.285156929279207]
ドメインの一般化は、目に見えないターゲットドメインでうまく機能する普遍的なモデルを学ぶことを目的としている。
We propose a novel domain generalization framework called Wasserstein Distributionally Robust Domain Generalization (WDRDG)。
論文 参考訳（メタデータ） (2022-07-11T14:46:50Z) - Feature-Distribution Perturbation and Calibration for Generalized Person
ReID [47.84576229286398]
人物再識別(ReID)は、視覚認識のためのディープラーニングの急速な発展とともに、過去10年間で著しく進歩してきた。
本稿では,人物ReIDの一般的な特徴表現を導出する特徴分布摂動一般化法を提案する。
論文 参考訳（メタデータ） (2022-05-23T11:06:12Z) - Improving Robustness against Real-World and Worst-Case Distribution
Shifts through Decision Region Quantification [34.52826326208197]
本稿では, 決定領域定量化(DRQ)アルゴリズムを提案する。
DRQは、所定のデータポイント付近の局所的な決定領域の堅牢性を分析し、より信頼性の高い予測を行う。
大規模な実証的評価は、DRQが現実世界や最悪の分布シフトに対して、敵対的および非敵対的に訓練されたモデルの堅牢性を高めることを示している。
論文 参考訳（メタデータ） (2022-05-19T15:25:55Z) - Self-balanced Learning For Domain Generalization [64.99791119112503]
ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。
既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。
本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
論文 参考訳（メタデータ） (2021-08-31T03:17:54Z) - Forward Super-Resolution: How Can GANs Learn Hierarchical Generative
Models for Real-World Distributions [66.05472746340142]
生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。
本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
論文 参考訳（メタデータ） (2021-06-04T17:33:29Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-10-09T15:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。