論文の概要: Neural Network Verification as Piecewise Linear Optimization: Formulations for the Composition of Staircase Functions

• arxiv url: http://arxiv.org/abs/2211.14706v1
• Date: Sun, 27 Nov 2022 03:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 20:37:18.140600
• Title: Neural Network Verification as Piecewise Linear Optimization: Formulations for the Composition of Staircase Functions
• Title（参考訳）: 線形最適化としてのニューラルネットワーク検証:階段関数の構成のための定式化
• Authors: Tu Anh-Nguyen and Joey Huchette
• Abstract要約: 混合整数計画法(MIP)を用いたニューラルネットワーク検証手法を提案する。 ネットワーク内の各ニューロンに対して一方向線形活性化関数を用いた強い定式化を導出する。 また、入力次元において超線形時間で実行される分離手順を導出する。
• 参考スコア（独自算出の注目度）: 2.088583843514496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a technique for neural network verification using mixed-integer programming (MIP) formulations. We derive a \emph{strong formulation} for each neuron in a network using piecewise linear activation functions. Additionally, as in general, these formulations may require an exponential number of inequalities, we also derive a separation procedure that runs in super-linear time in the input dimension. We first introduce and develop our technique on the class of \emph{staircase} functions, which generalizes the ReLU, binarized, and quantized activation functions. We then use results for staircase activation functions to obtain a separation method for general piecewise linear activation functions. Empirically, using our strong formulation and separation technique, we can reduce the computational time in exact verification settings based on MIP and improve the false negative rate for inexact verifiers relying on the relaxation of the MIP formulation.
• Abstract（参考訳）: 混合整数計画法(MIP)を用いたニューラルネットワーク検証手法を提案する。 分割線形活性化関数を用いたネットワーク内の各ニューロンに対する \emph{strong formula} を導出する。 さらに、一般にこれらの定式化は指数関数的な不等式を必要とする場合があるが、入力次元において超線形時間で実行される分離手順も導出する。 我々はまず,relu,binarized,quantizedのアクティベーション関数を一般化した \emph{staircase} 関数のクラスにこの技術を導入,開発する。 次に,階段アクティベーション関数の結果を用いて,一般のピースワイド線形アクティベーション関数の分離方法を求める。 実験では, 強い定式化と分離技術を用いて, MIPに基づく正確な検証設定における計算時間を短縮し, MIP定式化の緩和に依存する不正確な検証者の偽陰性率を向上させることができる。

関連論文リスト

• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Unification of popular artificial neural network activation functions [0.0]
  本稿では,最も一般的なニューラルネットワーク活性化関数の統一表現について述べる。 分数計算のMittag-Leffler関数を採用することにより、フレキシブルでコンパクトな関数形式を提案する。
  論文  参考訳（メタデータ） (2023-02-21T21:20:59Z)
• Lifted Bregman Training of Neural Networks [28.03724379169264]
  本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
  論文  参考訳（メタデータ） (2022-08-18T11:12:52Z)
• Neural networks with trainable matrix activation functions [7.999703756441757]
  この研究は、行列値の活性化関数を構成するための体系的なアプローチを開発する。 提案した活性化関数は、重みとバイアスベクトルとともに訓練されたパラメータに依存する。
  論文  参考訳（メタデータ） (2021-09-21T04:11:26Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Estimating Multiplicative Relations in Neural Networks [0.0]
  対数関数の特性を用いて、積を線形表現に変換し、バックプロパゲーションを用いて学習できるアクティベーション関数のペアを提案する。 いくつかの複雑な算術関数に対してこのアプローチを一般化し、トレーニングセットとの不整合分布の精度を検証しようと試みる。
  論文  参考訳（メタデータ） (2020-10-28T14:28:24Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。