論文の概要: Testing Stationarity Concepts for ReLU Networks: Hardness, Regularity, and Robust Algorithms

• arxiv url: http://arxiv.org/abs/2302.12261v1
• Date: Thu, 23 Feb 2023 17:26:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-27 15:36:35.846121
• Title: Testing Stationarity Concepts for ReLU Networks: Hardness, Regularity, and Robust Algorithms
• Title（参考訳）: reluネットワークのための定常性概念のテスト:ハードネス、正規性、ロバストアルゴリズム
• Authors: Lai Tian, Anthony Man-Cho So
• Abstract要約: 本稿では,ReLUアクティベーション機能を持つニューラルネットワークの実証的損失に対する定常性試験の計算問題について検討する。 片方向線形関数に対するある一階近似定常性の概念の検証はコ-NPハードであることが示される。 本稿では,Clarke と Fr'echet の差分で近似近距離定常性をテストするアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 31.478874616470048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the computational problem of the stationarity test for the empirical loss of neural networks with ReLU activation functions. Our contributions are: Hardness: We show that checking a certain first-order approximate stationarity concept for a piecewise linear function is co-NP-hard. This implies that testing a certain stationarity concept for a modern nonsmooth neural network is in general computationally intractable. As a corollary, we prove that testing so-called first-order minimality for functions in abs-normal form is co-NP-complete, which was conjectured by Griewank and Walther (2019, SIAM J. Optim., vol. 29, p284). Regularity: We establish a necessary and sufficient condition for the validity of an equality-type subdifferential chain rule in terms of Clarke, Fr\'echet, and limiting subdifferentials of the empirical loss of two-layer ReLU networks. This new condition is simple and efficiently checkable. Robust algorithms: We introduce an algorithmic scheme to test near-approximate stationarity in terms of both Clarke and Fr\'echet subdifferentials. Our scheme makes no false positive or false negative error when the tested point is sufficiently close to a stationary one and a certain qualification is satisfied. This is the first practical and robust stationarity test approach for two-layer ReLU networks.
• Abstract（参考訳）: reluアクティベーション関数を持つニューラルネットワークの実証的損失に対する定常性テストの計算問題について検討した。 ハードネス: ある一階近似定常性の概念を1次線形関数に対してチェックすることはコ-NPハードであることを示す。 これは、現代の非スムースニューラルネットワークに対する一定の定常性概念の検証は、一般に計算的に難解であることを意味する。 共役として、abs正規形式の関数に対するいわゆる一階極小性テストが共np完全であることを証明し、griewank と walther (2019, siam j. optim., vol. 29 p284) によって予想された。 規則性: クラーク, Fr'エチェット, および2層ReLUネットワークの経験的損失のサブディファレンシャルを制限することによる等式型部分ディファレンシャル連鎖則の妥当性について, 必要かつ十分な条件を確立する。 この新しい条件は単純で効率的にチェックできる。 ロバストアルゴリズム:clarkeとfr\'echet部分微分の両方の観点から近似定常性をテストするアルゴリズムスキームを導入する。 試験点が静止点に十分近く、一定の資格が満たされた場合に、我々のスキームは偽陽性または偽陰誤りを起こさない。 これは2層reluネットワークの実用的かつロバストな定常性試験手法である。

関連論文リスト

• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Intersection of Parallels as an Early Stopping Criterion [64.8387564654474]
  そこで本研究では,検証セットを必要とせずに,トレーニングイテレーションの早期停止点を見つける手法を提案する。 幅広い学習率において,コサイン距離基準 (CDC) と呼ばれる手法は,比較したすべての手法よりも平均的な一般化に寄与する。
  論文  参考訳（メタデータ） (2022-08-19T19:42:41Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Sparsest Univariate Learning Models Under Lipschitz Constraint [31.28451181040038]
  一次元回帰問題に対する連続領域定式化を提案する。 リプシッツ定数をユーザ定義上界を用いて明示的に制御する。 いずれの問題も、連続的かつ断片的線形なグローバル最小化を許容していることが示される。
  論文  参考訳（メタデータ） (2021-12-27T07:03:43Z)
• Geometric Path Enumeration for Equivalence Verification of Neural Networks [2.007262412327553]
  2つのNNが等価な振る舞いを示すことを示すことを目的としたNN等価性の形式的検証問題に焦点をあてる。 理論的には、epsilon-equivalence問題はcoNP完全であることを示す。 第3のステップでは、等価性検証のための拡張アルゴリズムを実装し、その実用化に必要な最適化を評価する。
  論文  参考訳（メタデータ） (2021-12-13T11:56:08Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Achieving Small Test Error in Mildly Overparameterized Neural Networks [30.664282759625948]
  時間内にこれらの点の1つを見つけるアルゴリズムを示す。 さらに、我々は、完全に接続されたニューラルネットワークのために、データ分布に追加の仮定で、時間アルゴリズムがあることを証明します。
  論文  参考訳（メタデータ） (2021-04-24T06:47:20Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)
• PEREGRiNN: Penalized-Relaxation Greedy Neural Network Verifier [1.1011268090482575]
  我々は、ReLU NNの最も一般的な安全仕様を正式に検証するための新しいアプローチを導入する。 我々は, 線形実現可能性チェッカーとしてだけでなく, 解法で許容される緩和量のペナルティ化の手段として, 凸解法を用いる。
  論文  参考訳（メタデータ） (2020-06-18T21:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。