論文の概要: On the regularized risk of distributionally robust learning over deep neural networks

• arxiv url: http://arxiv.org/abs/2109.06294v1
• Date: Mon, 13 Sep 2021 20:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-15 15:23:44.460521
• Title: On the regularized risk of distributionally robust learning over deep neural networks
• Title（参考訳）: ディープニューラルネットワークを用いた分散ロバスト学習の正規化リスクについて
• Authors: Camilo Garcia Trillos and Nicolas Garcia Trillos
• Abstract要約: 本研究では, 分散ロバスト学習と正規化の異なる形態の関係について検討し, ディープニューラルネットワークのロバスト性について検討した。 私たちは、堅牢なニューラルネットワークのトレーニングのために、スケーラブルなアルゴリズムのファミリーを動機付けています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we explore the relation between distributionally robust learning and different forms of regularization to enforce robustness of deep neural networks. In particular, starting from a concrete min-max distributionally robust problem, and using tools from optimal transport theory, we derive first order and second order approximations to the distributionally robust problem in terms of appropriate regularized risk minimization problems. In the context of deep ResNet models, we identify the structure of the resulting regularization problems as mean-field optimal control problems where the number and dimension of state variables is within a dimension-free factor of the dimension of the original unrobust problem. Using the Pontryagin maximum principles associated to these problems we motivate a family of scalable algorithms for the training of robust neural networks. Our analysis recovers some results and algorithms known in the literature (in settings explained throughout the paper) and provides many other theoretical and algorithmic insights that to our knowledge are novel. In our analysis we employ tools that we deem useful for a future analysis of more general adversarial learning problems.
• Abstract（参考訳）: 本稿では,分散的ロバスト学習と,深層ニューラルネットワークのロバスト性を高めるための正規化の異なる形態との関係について検討する。 特に、具体的なmin-max分布的ロバスト問題から始まり、最適輸送理論のツールを用いて、適切な正規化リスク最小化問題の観点から分布的ロバスト問題への一階および二階近似を求める。 深いresnetモデルの文脈では、結果として生じる正規化問題の構造を、状態変数の数と次元が元のunrobust問題の次元の次元自由因子内にある平均場最適制御問題として同定する。 これらの問題に関連する最大原理を用いて、堅牢なニューラルネットワークのトレーニングのためのスケーラブルなアルゴリズムのファミリーを動機付けます。 私たちの分析は、文献で知られているいくつかの結果とアルゴリズムを復元し、我々の知識が斬新である多くの理論的、アルゴリズム的な洞察を提供します。 分析では,より汎用的な学習問題の今後の分析に有用なツールが採用されている。

関連論文リスト

• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Approximation Power of Deep Neural Networks: an explanatory mathematical survey [0.0]
  本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。 我々は、ニューラルネットワークが他の古典的線形および非線形近似法より優れている理由と理由を理解することを目的としている。
  論文  参考訳（メタデータ） (2022-07-19T18:47:44Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Intrinsic Dimension, Persistent Homology and Generalization in Neural Networks [19.99615698375829]
  一般化誤差は 'peristent homology dimension' (PHD) という概念で等価に有界であることを示す。 我々は,現代のディープニューラルネットワークの規模でPHDを推定する効率的なアルゴリズムを開発した。 実験の結果,提案手法はネットワークの固有次元を様々な設定で効率的に計算できることがわかった。
  論文  参考訳（メタデータ） (2021-11-25T17:06:15Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。