論文の概要: Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
- arxiv url: http://arxiv.org/abs/2406.04476v1
- Date: Thu, 6 Jun 2024 20:02:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 18:07:23.121412
- Title: Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis
- Title（参考訳）: ニューラルネットワークのヘシアンに関する確率的境界:導出性保存性解析
- Authors: Sina Sharifi, Mahyar Fazlyab,
- Abstract要約: 本稿では,アクティベーションの異なるニューラルネットワークに適した新しい到達可能性解析手法を提案する。
本手法の重要な特徴は,活性化関数のループ変換により,その単調性を効果的に活用することである。
結果として得られるエンドツーエンドの抽象化は、微分情報を局所的に保存し、小さな入力集合に正確な境界を与える。
- 参考スコア（独自算出の注目度）: 6.9060054915724
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel reachability analysis method tailored for neural networks with differentiable activations. Our idea hinges on a sound abstraction of the neural network map based on first-order Taylor expansion and bounding the remainder. To this end, we propose a method to compute analytical bounds on the network's first derivative (gradient) and second derivative (Hessian). A key aspect of our method is loop transformation on the activation functions to exploit their monotonicity effectively. The resulting end-to-end abstraction locally preserves the derivative information, yielding accurate bounds on small input sets. Finally, we employ a branch and bound framework for larger input sets to refine the abstraction recursively. We evaluate our method numerically via different examples and compare the results with relevant state-of-the-art methods.
- Abstract（参考訳）: 本稿では,アクティベーションの異なるニューラルネットワークに適した新しい到達可能性解析手法を提案する。
我々のアイデアは、一階述語Taylor展開に基づくニューラルネットワークマップの健全な抽象化と、残りを束縛することに基づいている。
そこで本研究では,ネットワークの第1微分(次)および第2微分(ヘシアン)に関する解析的境界を求める手法を提案する。
本手法の重要な特徴は,活性化関数のループ変換により,その単調性を効果的に活用することである。
結果として得られるエンドツーエンドの抽象化は、微分情報を局所的に保存し、小さな入力集合に正確な境界を与える。
最後に、より大規模な入力セットに対してブランチとバウンドのフレームワークを使用して、抽象化を再帰的に洗練します。
本手法は,異なる例を用いて数値的に評価し,関連する最先端手法と比較する。
関連論文リスト
- Neural Control Variates with Automatic Integration [49.91408797261987]
本稿では,任意のニューラルネットワークアーキテクチャから学習可能なパラメトリック制御関数を構築するための新しい手法を提案する。
我々はこのネットワークを用いて積分器の反微分を近似する。
我々はウォーク・オン・スフィア・アルゴリズムを用いて偏微分方程式を解くために本手法を適用した。
論文 参考訳（メタデータ） (2024-09-23T06:04:28Z) - Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。
提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。
提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
論文 参考訳（メタデータ） (2024-08-23T15:02:09Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Robust Explanation Constraints for Neural Networks [33.14373978947437]
ニューラルネットワークの意図で使われるポストホックな説明法は、しばしば彼らの出力を信頼するのに役立つと言われている。
我々のトレーニング方法は、ニューラルネットワークを学習できる唯一の方法であり、6つのテストネットワークでテストされた堅牢性に関する洞察を持つ。
論文 参考訳（メタデータ） (2022-12-16T14:40:25Z) - Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。
我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文 参考訳（メタデータ） (2022-10-14T19:31:39Z) - Lifted Bregman Training of Neural Networks [28.03724379169264]
本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。
この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。
ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
論文 参考訳（メタデータ） (2022-08-18T11:12:52Z) - Reachability analysis of neural networks using mixed monotonicity [0.0]
本稿では,入力不確実性の条件下でのフィードフォワードニューラルネットワークの出力集合の過度近似を計算するための新しい到達可能性解析ツールを提案する。
提案手法は、力学系の到達可能性解析のための既存の混合単調性法をニューラルネットワークに適用する。
論文 参考訳（メタデータ） (2021-11-15T11:35:18Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - Scalable Polyhedral Verification of Recurrent Neural Networks [9.781772283276734]
本稿では, Prover と呼ばれる再帰型ニューラルネットワークのスケーラブルかつ高精度な検証手法を提案する。
評価の結果,Proverはコンピュータビジョン,音声,モーションセンサの分類において,いくつかの難解な再帰モデルを検証できた。
論文 参考訳（メタデータ） (2020-05-27T11:57:01Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。