論文の概要: Neural network training under semidefinite constraints

• arxiv url: http://arxiv.org/abs/2201.00632v1
• Date: Mon, 3 Jan 2022 13:10:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 14:16:20.719923
• Title: Neural network training under semidefinite constraints
• Title（参考訳）: 半定制約下でのニューラルネットワークトレーニング
• Authors: Patricia Pauli, Niklas Funcke, Dennis Gramlich, Mohamed Amine Msalmi and Frank Allg\"ower
• Abstract要約: 本稿では,ニューラルネットワーク(NN)の半定制約下でのトレーニングについて述べる。 半定値制約は、NNの興味深い特性を検証するのに使うことができる。 実験では,従来の手法よりも訓練方法が優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper is concerned with the training of neural networks (NNs) under semidefinite constraints. This type of training problems has recently gained popularity since semidefinite constraints can be used to verify interesting properties for NNs that include, e.g., the estimation of an upper bound on the Lipschitz constant, which relates to the robustness of an NN, or the stability of dynamic systems with NN controllers. The utilized semidefinite constraints are based on sector constraints satisfied by the underlying activation functions. Unfortunately, one of the biggest bottlenecks of these new results is the required computational effort for incorporating the semidefinite constraints into the training of NNs which is limiting their scalability to large NNs. We address this challenge by developing interior point methods for NN training that we implement using barrier functions for semidefinite constraints. In order to efficiently compute the gradients of the barrier terms, we exploit the structure of the semidefinite constraints. In experiments, we demonstrate the superior efficiency of our training method over previous approaches, which allows us, e.g., to use semidefinite constraints in the training of Wasserstein generative adversarial networks, where the discriminator must satisfy a Lipschitz condition.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク(NN)の半定制約下でのトレーニングについて述べる。 このタイプのトレーニング問題は、例えば、リプシッツ定数の上界の推定や、NNの堅牢性、NNコントローラによる動的システムの安定性などを含む、NNの興味深い性質を半定値制約で検証できるため、最近人気が高まっている。 利用された半定義制約は、基礎となる活性化関数によって満たされるセクタ制約に基づいている。 残念ながら、これらの新しい結果の最大のボトルネックの1つは、大きなNNにスケーラビリティを制限しているNNのトレーニングに半定制約を組み込むために必要な計算努力である。 この課題に対して,半定制約に対するバリア関数を用いて実装したNNトレーニングのためのインテリアポイント法を開発した。 障壁項の勾配を効率的に計算するために、半定値制約の構造を利用する。 実験では,従来の手法よりも優れた訓練方法を示し,例えば,判別者がリプシッツ条件を満たさなければならないワッサースタイン生成逆ネットワークの訓練において,半定義的な制約を使用できることを示した。

関連論文リスト

• N-Adaptive Ritz Method: A Neural Network Enriched Partition of Unity for Boundary Value Problems [1.2200609701777907]
  本研究は,ニューラルネットワークによる境界値問題を解決するために,ニューラルネットワークに富んだユニティ分割(NN-PU)アプローチを導入する。 NNエンリッチメントは、事前訓練された特徴符号化NNブロックと未訓練NNブロックを組み合わせることで構成される。 提案手法は,従来のメッシュ法に比べて計算コストを低減しつつ,正確な解を提供する。
  論文  参考訳（メタデータ） (2024-01-16T18:11:14Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• DeepSaDe: Learning Neural Networks that Guarantee Domain Constraint Satisfaction [8.29487992932196]
  本稿では,ニューラルネットワークを訓練し,様々な制約を課し,その制約が全ての可能な予測によって満たされることを保証するアプローチを提案する。 私たちのアプローチは、さまざまなドメイン制約を強制するのに十分な柔軟性があり、ニューラルネットワークでそれらを保証できます。
  論文  参考訳（メタデータ） (2023-03-02T10:40:50Z)
• Constrained Empirical Risk Minimization: Theory and Practice [2.4934936799100034]
  本稿では,Deep Neural Networks (DNN) などのパラメータ化された関数集合に対する制約の厳格化を可能にするフレームワークを提案する。 我々は、幾何学的深層学習で使用される同変ネットワークの範囲外にある制約に焦点を当てる。 このフレームワークの主な例として、畳み込みニューラルネットワーク(CNN)のフィルタをウェーブレットに制限し、これらのウェーブレットネットワークを医療領域における輪郭予測のタスクに適用する。
  論文  参考訳（メタデータ） (2023-02-09T16:11:58Z)
• Lipschitz Continuity Retained Binary Neural Network [52.17734681659175]
  我々は,BNNのモデルロバスト性を定義するための厳密な基準として,リプシッツ連続性を導入する。 次に、モデルロバスト性を改善するための正規化項としてリプシッツ連続性を維持することを提案する。 実験により,我々のBNN固有の正規化手法は,BNNの堅牢性を効果的に強化できることが証明された。
  論文  参考訳（メタデータ） (2022-07-13T22:55:04Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Robustness Analysis of Neural Networks via Efficient Partitioning with Applications in Control Systems [45.35808135708894]
  ニューラルネットワーク(NN)は現在、不確実な環境で動作しなければならないシステムに定期的に実装されている。 本稿では、ロバストネス解析アルゴリズムのファミリを提供するために、伝播と分割のアプローチを統合する。 新しいパーティショニング技術は、現在の境界推定値と望ましい境界形状を認識している。
  論文  参考訳（メタデータ） (2020-10-01T16:51:36Z)
• Training robust neural networks using Lipschitz bounds [0.0]
  ニューラルネットワーク(NN)は、安全クリティカルなアプリケーションではほとんど使われません。 逆の摂動に対するロバスト性の1つの尺度は、NNによって定義される入出力写像のリプシッツ定数である。 我々は,Lipschitz を一定に小さく保ちながら,強靭性を促進しつつ,多層NN のトレーニングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-06T16:07:46Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。