論文の概要: Adversarially Robust Models may not Transfer Better: Sufficient
Conditions for Domain Transferability from the View of Regularization
- arxiv url: http://arxiv.org/abs/2202.01832v1
- Date: Thu, 3 Feb 2022 20:26:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 02:49:44.512015
- Title: Adversarially Robust Models may not Transfer Better: Sufficient
Conditions for Domain Transferability from the View of Regularization
- Title(参考訳): 逆ロバストモデルでは伝達が良くないかもしれない:正規化の観点からのドメイン転送容易条件
- Authors: Xiaojun Xu, Jacky Yibo Zhang, Evelyn Ma, Danny Son, Oluwasanmi Koyejo,
Bo Li
- Abstract要約: 機械学習の堅牢性とドメインの一般化は基本的に相関している。
最近の研究では、より堅牢な(逆向きに訓練された)モデルの方がより一般化可能であることが示されている。
彼らの基本的な関係に関する理論的理解が欠如している。
- 参考スコア(独自算出の注目度): 17.825841580342715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) robustness and domain generalization are fundamentally
correlated: they essentially concern data distribution shifts under adversarial
and natural settings, respectively. On one hand, recent studies show that more
robust (adversarially trained) models are more generalizable. On the other
hand, there is a lack of theoretical understanding of their fundamental
connections. In this paper, we explore the relationship between regularization
and domain transferability considering different factors such as norm
regularization and data augmentations (DA). We propose a general theoretical
framework proving that factors involving the model function class
regularization are sufficient conditions for relative domain transferability.
Our analysis implies that "robustness" is neither necessary nor sufficient for
transferability; rather, robustness induced by adversarial training is a
by-product of such function class regularization. We then discuss popular DA
protocols and show when they can be viewed as the function class regularization
under certain conditions and therefore improve generalization. We conduct
extensive experiments to verify our theoretical findings and show several
counterexamples where robustness and generalization are negatively correlated
on different datasets.
- Abstract(参考訳): 機械学習(ML)の堅牢性とドメインの一般化は基本的に相関関係にある。
一方、最近の研究では、より堅牢な(逆向きに訓練された)モデルの方がより一般化可能であることが示されている。
一方で、それらの基本的な関係に関する理論的理解が欠如している。
本稿では,標準正規化やデータ拡張(DA)といった異なる要因を考慮した正規化とドメイン転送可能性の関係について検討する。
本稿では,モデル関数クラス正規化に関わる因子が相対的ドメイン転送可能性の十分条件であることを証明する一般的な理論的枠組みを提案する。
本分析は,「ロバスト性」は伝達性に必要でも十分でもないことを示し,むしろ,敵対的訓練によって引き起こされる頑健性は,そのような関数クラス正規化の副産物である。
次に、一般的なdaプロトコルを議論し、特定の条件下で関数クラス正規化と見なすことができるかを示し、それゆえ一般化を改善する。
我々は、我々の理論的な知見を検証し、ロバスト性と一般化が異なるデータセットに負の相関を持ついくつかの反例を示す。
関連論文リスト
- Trade-off Between Dependence and Complexity for Nonparametric Learning
-- an Empirical Process Approach [10.27974860479791]
データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。
標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。
長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
論文 参考訳(メタデータ) (2024-01-17T05:08:37Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Robustness Implies Generalization via Data-Dependent Generalization
Bounds [24.413499775513145]
本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。
本稿では,LassoとDeep Learningのいくつかの例を紹介する。
論文 参考訳(メタデータ) (2022-06-27T17:58:06Z) - Causality Inspired Representation Learning for Domain Generalization [47.574964496891404]
本稿では、ドメイン一般化問題を形式化する一般的な構造因果モデルを提案する。
我々の目標は、入力から因果因子を抽出し、不変因果機構を再構築することである。
理想的な因果因子は、非因果的要因から分離され、共同独立であり、分類に十分な因果的要因である。
論文 参考訳(メタデータ) (2022-03-27T08:08:33Z) - Accuracy on the Line: On the Strong Correlation Between
Out-of-Distribution and In-Distribution Generalization [89.73665256847858]
分布外性能は,広範囲なモデルと分布シフトに対する分布内性能と強く相関していることを示す。
具体的には,CIFAR-10 と ImageNet の変種に対する分布内分布と分布外分布性能の強い相関関係を示す。
また,CIFAR-10-Cと組織分類データセットCamelyon17-WILDSの合成分布の変化など,相関が弱いケースについても検討した。
論文 参考訳(メタデータ) (2021-07-09T19:48:23Z) - Prequential MDL for Causal Structure Learning with Neural Networks [9.669269791955012]
ベイジアンネットワークの実用的スコアリング関数を導出するために,事前最小記述長の原理が利用できることを示す。
我々は、調整しなければならない事前やその他の正規化子を誘導するスパーシリティに頼ることなく、可塑性および擬似グラフ構造を得る。
本研究は, 適応速度から因果構造を推定する最近の研究と, 分布変化の源泉から観測結果が得られた場合の因果構造との関係について考察する。
論文 参考訳(メタデータ) (2021-07-02T22:35:21Z) - Measuring Generalization with Optimal Transport [111.29415509046886]
我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。
我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
論文 参考訳(メタデータ) (2021-06-07T03:04:59Z) - Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。
対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
論文 参考訳(メタデータ) (2020-02-11T04:19:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。