論文の概要: Distributional Robustness with IPMs and links to Regularization and GANs

• arxiv url: http://arxiv.org/abs/2006.04349v1
• Date: Mon, 8 Jun 2020 04:41:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 00:23:17.177731
• Title: Distributional Robustness with IPMs and links to Regularization and GANs
• Title（参考訳）: IPMによる分布ロバスト性と正規化とGANとの関係
• Authors: Hisham Husain
• Abstract要約: 機械学習における分散に基づく不確実性セットを通して、ロバスト性を研究する。 F$-GANs を用いて, 対向生成モデルに光を当てるために, 実験結果を拡張した。
• 参考スコア（独自算出の注目度）: 10.863536797169148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness to adversarial attacks is an important concern due to the fragility of deep neural networks to small perturbations and has received an abundance of attention in recent years. Distributionally Robust Optimization (DRO), a particularly promising way of addressing this challenge, studies robustness via divergence-based uncertainty sets and has provided valuable insights into robustification strategies such as regularization. In the context of machine learning, the majority of existing results have chosen $f$-divergences, Wasserstein distances and more recently, the Maximum Mean Discrepancy (MMD) to construct uncertainty sets. We extend this line of work for the purposes of understanding robustness via regularization by studying uncertainty sets constructed with Integral Probability Metrics (IPMs) - a large family of divergences including the MMD, Total Variation and Wasserstein distances. Our main result shows that DRO under \textit{any} choice of IPM corresponds to a family of regularization penalties, which recover and improve upon existing results in the setting of MMD and Wasserstein distances. Due to the generality of our result, we show that other choices of IPMs correspond to other commonly used penalties in machine learning. Furthermore, we extend our results to shed light on adversarial generative modelling via $f$-GANs, constituting the first study of distributional robustness for the $f$-GAN objective. Our results unveil the inductive properties of the discriminator set with regards to robustness, allowing us to give positive comments for several penalty-based GAN methods such as Wasserstein-, MMD- and Sobolev-GANs. In summary, our results intimately link GANs to distributional robustness, extend previous results on DRO and contribute to our understanding of the link between regularization and robustness at large.
• Abstract（参考訳）: 敵の攻撃に対するロバスト性は、深層ニューラルネットワークが小さな摂動に対して脆弱であることによる重要な懸念であり、近年は注目を集めている。 分散ロバスト最適化(DRO: Distributionally Robust Optimization)は、分散ベースの不確実性集合を通して堅牢性を研究し、正規化のようなロバスト化戦略に関する貴重な洞察を与えてきた。 機械学習の文脈では、既存の結果の大部分は、不確実性集合を構築するために$f$-divergences、Wasserstein 距離、最近では Maximum Mean Discrepancy (MMD) を選択している。 積分確率距離(IPMs)で構築された不確実性集合(MDD、トータル変分、ワッサーシュタイン距離など)を研究することにより、正則化によりロバスト性を理解するためにこの線を拡張する。 IPMの選択下にあるDROは、MDDとワッサーシュタイン距離の設定において既存の結果の回復と改善を行う正規化ペナルティの族に対応することを示す。 結果の汎用性から、他のIMMの選択法が機械学習における他の一般的な罰則と一致することを示す。 さらに,F$-GANによる逆生成モデルに光を当てることにより,$f$-GANの目的に対する分布ロバスト性の最初の研究となる。 本研究の結果は, 堅牢性を考慮した識別器の誘導特性を明らかにし, ワッサースタイン法, MMD法, Sobolev-GANs などのペナルティベースのGAN法について肯定的なコメントをすることができる。 まとめると、我々の結果は、GANを分布的堅牢性に密接に結び付け、DROにおける以前の結果を拡張し、正規化と大規模ロバスト性との関係の理解に寄与する。

関連論文リスト

• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• On the Foundation of Distributionally Robust Reinforcement Learning [19.621038847810198]
  我々は、分布的堅牢性強化学習(DRRL)の理論的基礎に貢献する。 この枠組みは、意思決定者に対して、相手が編成した最悪の分散シフトの下で最適な政策を選択することを義務付ける。 このDRMDPフレームワーク内では、動的プログラミング原理(DPP)の存在の有無を調査する。
  論文  参考訳（メタデータ） (2023-11-15T15:02:23Z)
• Distributional Shift-Aware Off-Policy Interval Estimation: A Unified Error Quantification Framework [8.572441599469597]
  本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。 目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。 提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
  論文  参考訳（メタデータ） (2023-09-23T06:35:44Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Improving Adversarial Robustness via Mutual Information Estimation [144.33170440878519]
  ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
  論文  参考訳（メタデータ） (2022-07-25T13:45:11Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Residuals-based distributionally robust optimization with covariate information [0.0]
  我々は、分散ロバスト最適化(DRO)における機械学習予測モデルを統合するデータ駆動アプローチを検討する。 私たちのフレームワークは、さまざまな学習設定やDROあいまいさセットに対応できるという意味で柔軟です。
  論文  参考訳（メタデータ） (2020-12-02T11:21:34Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。