論文の概要: Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization

• arxiv url: http://arxiv.org/abs/2202.01832v1
• Date: Thu, 3 Feb 2022 20:26:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 02:49:44.512015
• Title: Adversarially Robust Models may not Transfer Better: Sufficient Conditions for Domain Transferability from the View of Regularization
• Title（参考訳）: 逆ロバストモデルでは伝達が良くないかもしれない:正規化の観点からのドメイン転送容易条件
• Authors: Xiaojun Xu, Jacky Yibo Zhang, Evelyn Ma, Danny Son, Oluwasanmi Koyejo, Bo Li
• Abstract要約: 機械学習の堅牢性とドメインの一般化は基本的に相関している。 最近の研究では、より堅牢な(逆向きに訓練された)モデルの方がより一般化可能であることが示されている。 彼らの基本的な関係に関する理論的理解が欠如している。
• 参考スコア（独自算出の注目度）: 17.825841580342715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) robustness and domain generalization are fundamentally correlated: they essentially concern data distribution shifts under adversarial and natural settings, respectively. On one hand, recent studies show that more robust (adversarially trained) models are more generalizable. On the other hand, there is a lack of theoretical understanding of their fundamental connections. In this paper, we explore the relationship between regularization and domain transferability considering different factors such as norm regularization and data augmentations (DA). We propose a general theoretical framework proving that factors involving the model function class regularization are sufficient conditions for relative domain transferability. Our analysis implies that "robustness" is neither necessary nor sufficient for transferability; rather, robustness induced by adversarial training is a by-product of such function class regularization. We then discuss popular DA protocols and show when they can be viewed as the function class regularization under certain conditions and therefore improve generalization. We conduct extensive experiments to verify our theoretical findings and show several counterexamples where robustness and generalization are negatively correlated on different datasets.
• Abstract（参考訳）: 機械学習(ML)の堅牢性とドメインの一般化は基本的に相関関係にある。 一方、最近の研究では、より堅牢な(逆向きに訓練された)モデルの方がより一般化可能であることが示されている。 一方で、それらの基本的な関係に関する理論的理解が欠如している。 本稿では,標準正規化やデータ拡張(DA)といった異なる要因を考慮した正規化とドメイン転送可能性の関係について検討する。 本稿では,モデル関数クラス正規化に関わる因子が相対的ドメイン転送可能性の十分条件であることを証明する一般的な理論的枠組みを提案する。 本分析は,「ロバスト性」は伝達性に必要でも十分でもないことを示し,むしろ,敵対的訓練によって引き起こされる頑健性は,そのような関数クラス正規化の副産物である。 次に、一般的なdaプロトコルを議論し、特定の条件下で関数クラス正規化と見なすことができるかを示し、それゆえ一般化を改善する。 我々は、我々の理論的な知見を検証し、ロバスト性と一般化が異なるデータセットに負の相関を持ついくつかの反例を示す。

関連論文リスト

• Generalizing to any diverse distribution: uniformity, gentle finetuning and rebalancing [55.791818510796645]
  我々は,訓練データから大きく逸脱した場合でも,様々なテスト分布によく適応するモデルを開発することを目的としている。 ドメイン適応、ドメイン一般化、ロバスト最適化といった様々なアプローチは、アウト・オブ・ディストリビューションの課題に対処しようと試みている。 我々は、既知のドメイン内の十分に多様なテスト分布にまたがる最悪のケースエラーを考慮することで、より保守的な視点を採用する。
  論文  参考訳（メタデータ） (2024-10-08T12:26:48Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Domain Adaptation with Cauchy-Schwarz Divergence [39.36943882475589]
  教師なし領域適応(UDA)問題にコーシー=シュワルツの発散を導入する。 CS発散は、Kulback-Leibler発散よりも理論上より厳密な一般化誤差を提供する。 距離距離測定および対角訓練に基づくUDAフレームワークにおいて,CSのばらつきが有用であることを示す。
  論文  参考訳（メタデータ） (2024-05-30T12:01:12Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Trade-off Between Dependence and Complexity for Nonparametric Learning -- an Empirical Process Approach [10.27974860479791]
  データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。 標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。 長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
  論文  参考訳（メタデータ） (2024-01-17T05:08:37Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Robustness Implies Generalization via Data-Dependent Generalization Bounds [24.413499775513145]
  本稿では、ロバスト性はデータ依存の一般化境界による一般化を意味することを示す。 本稿では,LassoとDeep Learningのいくつかの例を紹介する。
  論文  参考訳（メタデータ） (2022-06-27T17:58:06Z)
• Causality Inspired Representation Learning for Domain Generalization [47.574964496891404]
  本稿では、ドメイン一般化問題を形式化する一般的な構造因果モデルを提案する。 我々の目標は、入力から因果因子を抽出し、不変因果機構を再構築することである。 理想的な因果因子は、非因果的要因から分離され、共同独立であり、分類に十分な因果的要因である。
  論文  参考訳（メタデータ） (2022-03-27T08:08:33Z)
• Measuring Generalization with Optimal Transport [111.29415509046886]
  我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。 我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
  論文  参考訳（メタデータ） (2021-06-07T03:04:59Z)
• Generalised Lipschitz Regularisation Equals Distributional Robustness [47.44261811369141]
  分布的ロバスト性と正規化の関係について、非常に一般的な等式結果を与える。 対立学習と分布ロバスト性の関係を明らかにする新しい結果を示す。
  論文  参考訳（メタデータ） (2020-02-11T04:19:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。