論文の概要: A priori guarantees of finite-time convergence for Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2009.07509v1
• Date: Wed, 16 Sep 2020 07:13:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 23:38:08.004492
• Title: A priori guarantees of finite-time convergence for Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける有限時間収束の事前保証
• Authors: Anushree Rankawat, Mansi Rankawat, Harshal B. Oza
• Abstract要約: 決定論的制御理論設定における有限時間収束の事前保証を提供する。 入力摂動に対する損失関数の頑健性と感度を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we perform Lyapunov based analysis of the loss function to derive an a priori upper bound on the settling time of deep neural networks. While previous studies have attempted to understand deep learning using control theory framework, there is limited work on a priori finite time convergence analysis. Drawing from the advances in analysis of finite-time control of non-linear systems, we provide a priori guarantees of finite-time convergence in a deterministic control theoretic setting. We formulate the supervised learning framework as a control problem where weights of the network are control inputs and learning translates into a tracking problem. An analytical formula for finite-time upper bound on settling time is computed a priori under the assumptions of boundedness of input. Finally, we prove the robustness and sensitivity of the loss function against input perturbations.
• Abstract（参考訳）: 本稿では,損失関数のリアプノフに基づく解析を行い,深層ニューラルネットワークの沈降時間に基づく事前上限を導出する。 従来の研究は制御理論フレームワークを用いたディープラーニングの理解を試みたが、事前有限時間収束解析には限定的な研究がある。 非線形システムの有限時間制御解析の進歩から,決定論的制御論的設定における有限時間収束の事前保証を提供する。 ネットワークの重みが制御入力であり、学習が追跡問題となる制御問題として教師付き学習フレームワークを定式化する。 定置時間における有限時間上界の解析式は、入力の有界性の仮定の下で事前計算される。 最後に,入力摂動に対する損失関数のロバスト性と感度を示す。

関連論文リスト

• Uncovering the Missing Pattern: Unified Framework Towards Trajectory Imputation and Prediction [60.60223171143206]
  軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。 現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。 本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-28T14:27:27Z)
• Time Domain Sensitivity of the Tracking Error [0.0]
  構造植物不確実性のエラーの対数感度の厳密な時間領域定式化を示す。 その結果、幅広い物理システムにおいて、エラー信号の周波数でのログ感度向上のコストは、性能向上のコストであることが示された。
  論文  参考訳（メタデータ） (2022-10-27T21:48:26Z)
• A Theoretical Overview of Neural Contraction Metrics for Learning-based Control with Guaranteed Stability [7.963506386866862]
  本稿では,最適縮尺と対応する微分リャプノフ関数のニューラルネットワークモデルを提案する。 そのイノベーションは、学習ベースの制御フレームワークに対して、正式な堅牢性を保証することである。
  論文  参考訳（メタデータ） (2021-10-02T00:28:49Z)
• Reachability Analysis of Neural Feedback Loops [34.94930611635459]
  本研究は, NNコントローラ付き閉ループシステム) の前方到達可能なフィードバックループの推定に焦点をあてる。 最近の研究は、これらの到達可能な集合に境界を与えるが、計算的に抽出可能なアプローチは過度に保守的な境界をもたらす。 この研究は、NNコントローラを用いた閉ループシステムの到達可能性解析のための凸最適化問題を定式化することによってギャップを埋める。
  論文  参考訳（メタデータ） (2021-08-09T16:11:57Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Robustness Analysis of Neural Networks via Efficient Partitioning with Applications in Control Systems [45.35808135708894]
  ニューラルネットワーク(NN)は現在、不確実な環境で動作しなければならないシステムに定期的に実装されている。 本稿では、ロバストネス解析アルゴリズムのファミリを提供するために、伝播と分割のアプローチを統合する。 新しいパーティショニング技術は、現在の境界推定値と望ましい境界形状を認識している。
  論文  参考訳（メタデータ） (2020-10-01T16:51:36Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Reach-SDP: Reachability Analysis of Closed-Loop Systems with Neural Network Controllers via Semidefinite Programming [19.51345816555571]
  本稿では,ニューラルネットワークを用いた線形時間変化システムの安全性検証のための新しいフォワードリーチビリティ解析手法を提案する。 半有限計画法を用いて、これらの近似到達可能な集合を計算できることが示される。 提案手法は,まずディープニューラルネットワークを用いて非線形モデル予測制御器を近似し,その解析ツールを用いて閉ループシステムの有限時間到達性と制約満足度を証明した。
  論文  参考訳（メタデータ） (2020-04-16T18:48:25Z)
• Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
  この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。 これは加速収束を示すアルゴリズムの特性を提供する。
  論文  参考訳（メタデータ） (2020-02-28T00:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。