論文の概要: On the Hardness of Robustness Transfer: A Perspective from Rademacher
Complexity over Symmetric Difference Hypothesis Space
- arxiv url: http://arxiv.org/abs/2302.12351v1
- Date: Thu, 23 Feb 2023 22:15:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 15:09:43.707666
- Title: On the Hardness of Robustness Transfer: A Perspective from Rademacher
Complexity over Symmetric Difference Hypothesis Space
- Title（参考訳）: ロバスト性伝達の硬さについて:対称差分仮説空間上のラデマッハ複雑性から
- Authors: Yuyang Deng, Nidham Gazagnadou, Junyuan Hong, Mehrdad Mahdavi,
Lingjuan Lyu
- Abstract要約: 我々は,クロスドメインの一般化を制御する重要な複雑性尺度,すなわち,対称差分仮説空間上の逆ラデマッハ複雑性を解析する。
線形モデルの場合、この複雑性の逆バージョンは常に非逆バージョンよりも大きいことを示す。
堅牢なドメイン適応は明らかに難しいが、ロバストな学習と標準ドメイン適応との間には肯定的な関係がある。
- 参考スコア（独自算出の注目度）: 33.25614346461152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies demonstrated that the adversarially robust learning under
$\ell_\infty$ attack is harder to generalize to different domains than standard
domain adaptation. How to transfer robustness across different domains has been
a key question in domain adaptation field. To investigate the fundamental
difficulty behind adversarially robust domain adaptation (or robustness
transfer), we propose to analyze a key complexity measure that controls the
cross-domain generalization: the adversarial Rademacher complexity over {\em
symmetric difference hypothesis space} $\mathcal{H} \Delta \mathcal{H}$. For
linear models, we show that adversarial version of this complexity is always
greater than the non-adversarial one, which reveals the intrinsic hardness of
adversarially robust domain adaptation. We also establish upper bounds on this
complexity measure. Then we extend them to the ReLU neural network class by
upper bounding the adversarial Rademacher complexity in the binary
classification setting. Finally, even though the robust domain adaptation is
provably harder, we do find positive relation between robust learning and
standard domain adaptation. We explain \emph{how adversarial training helps
domain adaptation in terms of standard risk}. We believe our results initiate
the study of the generalization theory of adversarially robust domain
adaptation, and could shed lights on distributed adversarially robust learning
from heterogeneous sources, e.g., federated learning scenario.
- Abstract（参考訳）: 近年の研究では、$\ell_\infty$攻撃下での対角的堅牢な学習は、標準的なドメイン適応よりも異なるドメインに一般化することが難しいことが示されている。
異なるドメイン間で堅牢性を伝達する方法は、ドメイン適応分野において重要な問題である。
対数的堅牢な領域適応(あるいはロバスト性移動)の背景にある根本的な困難さを調べるために、クロスドメインの一般化を制御する重要な複雑性尺度、すなわち、逆数的ラデマッハ複雑性を {\displaystyle {\em symmetric difference hypothesis space} $\mathcal{H} \Delta \mathcal{H}$ で解析することを提案する。
線形モデルの場合、この複雑性の逆バージョンは常に非逆バージョンよりも大きいことを示し、これは逆ロバストなドメイン適応の本質的な困難さを明らかにする。
この複雑性尺度の上限も確立する。
次に,2次分類設定における逆ラデマチャー複雑性を上界化することにより,ReLUニューラルネットワーククラスに拡張する。
最後に、ロバストなドメイン適応は確かに難しいが、ロバストな学習と標準ドメイン適応の間には正の関係がある。
標準リスクの観点でドメイン適応を支援する「emph{how adversarial training」について説明する。
この結果から, 対向的堅牢な領域適応の一般化理論の研究が始められ, 対向的堅牢な分散学習, フェデレーション学習シナリオなどの異種情報源から光を放つことができた。
関連論文リスト
- On the Geometry of Regularization in Adversarial Training: High-Dimensional Asymptotics and Generalization Bounds [11.30047438005394]
本研究では, 正規化ノルム $lVert cdot rVert$ を二項分類のための高次元対角訓練の文脈で選択する方法について検討する。
我々は、摂動サイズと$lVert cdot rVert$の最適選択との関係を定量的に評価し、データ不足状態において、摂動が大きくなるにつれて、正則化のタイプが敵の訓練にとってますます重要になっていることを確認する。
論文 参考訳（メタデータ） (2024-10-21T14:53:12Z) - Boosting Adversarial Training via Fisher-Rao Norm-based Regularization [9.975998980413301]
本稿では,ロバスト性と精度のトレードオフを軽減するため,LOAT(Logit-Oriented Adversarial Training)と呼ばれる新たな正規化フレームワークを提案する。
実験により,提案した正規化戦略により,有意な対向学習アルゴリズムの性能が向上することを示した。
論文 参考訳（メタデータ） (2024-03-26T09:22:37Z) - Domain Generalization via Causal Adjustment for Cross-Domain Sentiment
Analysis [59.73582306457387]
クロスドメイン感情分析における領域一般化の問題に焦点をあてる。
本稿では,ドメイン固有表現とドメイン不変表現をアンタングル化するバックドア調整に基づく因果モデルを提案する。
一連の実験は、我々のモデルの優れたパフォーマンスと堅牢性を示しています。
論文 参考訳（メタデータ） (2024-02-22T13:26:56Z) - Mapping conditional distributions for domain adaptation under
generalized target shift [0.0]
我々は、条件シフトとラベルシフト(GeTarS)の下でのソースとターゲットドメイン間の教師なしドメイン適応(UDA)の問題を考える。
最近のアプローチでは、ドメイン不変表現を学習するが、実際的な制限があり、実際には成り立たない強い仮定に依存している。
本稿では,既存の欠点を回避した,事前訓練された表現の整合化のための,新規で汎用的なアプローチについて検討する。
論文 参考訳（メタデータ） (2021-10-26T14:25:07Z) - A Bit More Bayesian: Domain-Invariant Learning with Uncertainty [111.22588110362705]
ドメインの一般化は、ドメインシフトと、ターゲットドメインデータのアクセス不能に起因する不確実性のために困難である。
本稿では,変分ベイズ推定に基づく確率的枠組みを用いて,両課題に対処する。
2層ベイズ型ニューラルネットワークで共同で確立されたドメイン不変表現と分類器を導出する。
論文 参考訳（メタデータ） (2021-05-09T21:33:27Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳（メタデータ） (2020-12-03T10:17:30Z) - Instance-Dependent Complexity of Contextual Bandits and Reinforcement
Learning: A Disagreement-Based Perspective [104.67295710363679]
古典的なマルチアームバンディット問題において、インスタンス依存アルゴリズムは、ベストとセカンドベストのアーム間のギャップで「容易」な問題のパフォーマンスを向上させる。
我々は、インスタンス依存の後悔境界を得るのに十分かつ必要である複雑性尺度のファミリーを導入する。
次に、可能な限りギャップに適応する新しいオラクル効率アルゴリズムを導入し、最悪の場合にはミニマックスレートを得る。
論文 参考訳（メタデータ） (2020-10-07T01:33:06Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳（メタデータ） (2020-06-15T21:54:15Z) - Adversarial Learning Guarantees for Linear Hypotheses and Neural
Networks [45.06091849856641]
線形仮説の対角的経験的ラデマチャー複雑性に対して, 上下境界を与える。
我々は解析を拡張し、1つのReLUユニットに対してRadecherの複雑性を下限と上限に設定する。
最後に、1つの隠蔽層を持つフィードフォワードニューラルネットワークに対して、逆ラデマチャー複雑性境界を与える。
論文 参考訳（メタデータ） (2020-04-28T15:55:16Z) - Unsupervised Domain Adaptation via Discriminative Manifold Embedding and
Alignment [23.72562139715191]
教師なしドメイン適応は、ソースドメインから教師なしターゲットドメインへの豊富な情報を活用するのに効果的である。
対象領域のハードアサインされた擬似ラベルは、本質的なデータ構造に危険である。
一貫した多様体学習フレームワークは、一貫した伝達可能性と識別可能性を達成するために提案される。
論文 参考訳（メタデータ） (2020-02-20T11:06:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。