論文の概要: A Quantitative Geometric Approach to Neural Network Smoothness

• arxiv url: http://arxiv.org/abs/2203.01212v1
• Date: Wed, 2 Mar 2022 16:13:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-03 19:20:47.732280
• Title: A Quantitative Geometric Approach to Neural Network Smoothness
• Title（参考訳）: ニューラルネットワークの滑らかさに対する定量的幾何学的アプローチ
• Authors: Zi Wang, Gautam Prakriya, Somesh Jha
• Abstract要約: リプシッツ定数推定に対処するために、統一的な理論的枠組み、定量的幾何学的アプローチを提供する。 この量的幾何学的アプローチから誘導されるアルゴリズムをGeoLIPツールに実装する。
• 参考スコア（独自算出の注目度）: 44.31859964161672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fast and precise Lipschitz constant estimation of neural networks is an important task for deep learning. Researchers have recently found an intrinsic trade-off between the accuracy and smoothness of neural networks, so training a network with a loose Lipschitz constant estimation imposes a strong regularization and can hurt the model accuracy significantly. In this work, we provide a unified theoretical framework, a quantitative geometric approach, to address the Lipschitz constant estimation. By adopting this framework, we can immediately obtain several theoretical results, including the computational hardness of Lipschitz constant estimation and its approximability. Furthermore, the quantitative geometric perspective can also provide some insights into recent empirical observations that techniques for one norm do not usually transfer to another one. We also implement the algorithms induced from this quantitative geometric approach in a tool GeoLIP. These algorithms are based on semidefinite programming (SDP). Our empirical evaluation demonstrates that GeoLIP is more scalable and precise than existing tools on Lipschitz constant estimation for $\ell_\infty$-perturbations. Furthermore, we also show its intricate relations with other recent SDP-based techniques, both theoretically and empirically. We believe that this unified quantitative geometric perspective can bring new insights and theoretical tools to the investigation of neural-network smoothness and robustness.
• Abstract（参考訳）: ニューラルネットワークの高速かつ正確なリプシッツ定数推定は、ディープラーニングの重要なタスクである。 研究者たちは最近、ニューラルネットワークの精度と滑らかさの間に固有のトレードオフがあることを発見し、緩いリプシッツ定数推定によるネットワークのトレーニングは、強い正規化を課し、モデルの精度を著しく損なう可能性がある。 本研究では,リプシッツ定数推定に対処するために,定量的幾何学的手法である統一的理論的枠組みを提案する。 この枠組みを採用することで、リプシッツ定数の計算硬度とその近似可能性を含むいくつかの理論結果が直ちに得られる。 さらに、量的幾何学的視点は、あるノルムのテクニックが通常別のノルムに転送されないという最近の経験的観察に関する洞察を与えることもできる。 また、この量的幾何学的アプローチから誘導されるアルゴリズムをGeoLIPツールに実装する。 これらのアルゴリズムは半定値プログラミング(SDP)に基づいている。 我々の経験的評価は、GeoLIPが$\ell_\infty$-perturbationsのリプシッツ定数推定の既存のツールよりもスケーラブルで正確であることを示している。 さらに,理論上も経験的にも,近年のSDP技術との複雑な関係を示す。 この統一された定量的幾何学的視点は、ニューラルネットワークの滑らかさと堅牢性の研究に新たな洞察と理論ツールをもたらすと信じている。

関連論文リスト

• Stabilizing RNN Gradients through Pre-training [3.335932527835653]
  学習理論は、勾配が深さや時間で指数関数的に成長するのを防ぎ、トレーニングを安定させ改善することを提案する。 我々は、既知の安定性理論を拡張し、データとパラメータの分布について最小限の仮定を必要とするディープ・リカレント・ネットワークの幅広いファミリーを包含する。 本稿では,この問題を緩和するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-23T11:48:35Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data [48.4779912667317]
  自己学習アルゴリズムは、ニューラルネットワークを使ってラベルのないデータで学ぶことに成功している。 この研究は、半教師なし学習、教師なしドメイン適応、教師なし学習のための深層ネットワークによる自己学習の統一的理論的解析を提供する。
  論文  参考訳（メタデータ） (2020-10-07T19:43:55Z)
• On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory [77.18089185140767]
  リプシッツ正則性は現代のディープラーニングの重要な性質として確立されている。 ニューラルネットワークのリプシッツ定数の正確な値を計算することはNPハードであることが知られている。 より厳密で計算が容易な畳み込み層に対する新しい上限を導入する。
  論文  参考訳（メタデータ） (2020-06-15T13:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。