論文の概要: RAYEN: Imposition of Hard Convex Constraints on Neural Networks

• arxiv url: http://arxiv.org/abs/2307.08336v1
• Date: Mon, 17 Jul 2023 09:12:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 14:02:45.733841
• Title: RAYEN: Imposition of Hard Convex Constraints on Neural Networks
• Title（参考訳）: rayen: ニューラルネットワークに対するハード凸制約の付与
• Authors: Jesus Tordesillas, Jonathan P. How, Marco Hutter
• Abstract要約: RAYENは、ニューラルネットワークにハード凸制約を課すフレームワークである。 最先端のアルゴリズムの20倍から7468倍の高速化を実現している。
• 参考スコア（独自算出の注目度）: 47.494620411594624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents RAYEN, a framework to impose hard convex constraints on the output or latent variable of a neural network. RAYEN guarantees that, for any input or any weights of the network, the constraints are satisfied at all times. Compared to other approaches, RAYEN does not perform a computationally-expensive orthogonal projection step onto the feasible set, does not rely on soft constraints (which do not guarantee the satisfaction of the constraints at test time), does not use conservative approximations of the feasible set, and does not perform a potentially slow inner gradient descent correction to enforce the constraints. RAYEN supports any combination of linear, convex quadratic, second-order cone (SOC), and linear matrix inequality (LMI) constraints, achieving a very small computational overhead compared to unconstrained networks. For example, it is able to impose 1K quadratic constraints on a 1K-dimensional variable with an overhead of less than 8 ms, and an LMI constraint with 300x300 dense matrices on a 10K-dimensional variable in less than 12 ms. When used in neural networks that approximate the solution of constrained optimization problems, RAYEN achieves computation times between 20 and 7468 times faster than state-of-the-art algorithms, while guaranteeing the satisfaction of the constraints at all times and obtaining a cost very close to the optimal one.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの出力変数や潜時変数に厳密な凸制約を課すフレームワークであるRAYENを提案する。 RAYENは、任意の入力やネットワークの重みに対して、常に制約を満たすことを保証します。 他のアプローチと比較して、RAYENは計算的に拡張可能な直交射影のステップを実行せず、(テスト時の制約の満足度を保証しない)ソフトな制約に依存せず、実行可能集合の保守的な近似を使用しず、制約を強制するために潜在的に遅い内傾勾配補正を行わない。 RAYENは線形、凸二次、二階錐(SOC)、線形行列不等式(LMI)制約の組み合わせをサポートし、制約のないネットワークに比べて計算オーバーヘッドが非常に小さい。 For example, it is able to impose 1K quadratic constraints on a 1K-dimensional variable with an overhead of less than 8 ms, and an LMI constraint with 300x300 dense matrices on a 10K-dimensional variable in less than 12 ms. When used in neural networks that approximate the solution of constrained optimization problems, RAYEN achieves computation times between 20 and 7468 times faster than state-of-the-art algorithms, while guaranteeing the satisfaction of the constraints at all times and obtaining a cost very close to the optimal one.

関連論文リスト

• A Penalty-Based Guardrail Algorithm for Non-Decreasing Optimization with Inequality Constraints [1.5498250598583487]
  伝統的な数学的プログラミングの解法は制約付き最小化問題を解くのに長い計算時間を必要とする。 ペナルティに基づくガードレールアルゴリズム(PGA)を提案する。
  論文  参考訳（メタデータ） (2024-05-03T10:37:34Z)
• A New Computationally Simple Approach for Implementing Neural Networks with Output Hard Constraints [5.482532589225552]
  ニューラルネットワークの出力値に厳密な凸制約を課す新しい手法を提案する。 マッピングは、出力の制約のある追加のニューラルネットワーク層によって実装される。 提案手法は,出力ベクトルだけでなく,入力による共同制約にも制約が課される場合に,単純に拡張される。
  論文  参考訳（メタデータ） (2023-07-19T21:06:43Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• Reachability Analysis of Neural Feedback Loops [34.94930611635459]
  本研究は, NNコントローラ付き閉ループシステム) の前方到達可能なフィードバックループの推定に焦点をあてる。 最近の研究は、これらの到達可能な集合に境界を与えるが、計算的に抽出可能なアプローチは過度に保守的な境界をもたらす。 この研究は、NNコントローラを用いた閉ループシステムの到達可能性解析のための凸最適化問題を定式化することによってギャップを埋める。
  論文  参考訳（メタデータ） (2021-08-09T16:11:57Z)
• On Constraints in First-Order Optimization: A View from Non-Smooth Dynamical Systems [99.59934203759754]
  本稿では,スムーズな制約付き最適化のための一階法について紹介する。 提案手法の2つの特徴は、実現可能な集合全体の投影や最適化が避けられることである。 結果として得られるアルゴリズムの手順は、制約が非線形であっても簡単に実装できる。
  論文  参考訳（メタデータ） (2021-07-17T11:45:13Z)
• Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints [24.97580261894342]
  本稿では,長期的制約を伴うオンライン凸最適化について考察する。 新たなアルゴリズムが最初に提案され、静的後悔のために$mathcalO(Tmaxc,1-c)$bound、累積制約違反のために$mathcalO(T(1-c)/2)$boundを達成する。
  論文  参考訳（メタデータ） (2021-06-09T15:18:06Z)
• Scaling the Convex Barrier with Sparse Dual Algorithms [141.4085318878354]
  本稿では,ニューラルネットワークバウンダリングのための2つの新しい2重アルゴリズムを提案する。 どちらの方法も新しい緩和の強さを回復する: 厳密さと線形分離オラクル。 実行時間のほんの一部で、既製のソルバよりも優れた境界を得ることができます。
  論文  参考訳（メタデータ） (2021-01-14T19:45:17Z)
• Lagrangian Decomposition for Neural Network Verification [148.0448557991349]
  ニューラルネットワーク検証の基本的なコンポーネントは、出力が取ることのできる値のバウンダリの計算である。 ラグランジアン分解に基づく新しい手法を提案する。 ランニングタイムのごく一部で、既成の解法に匹敵するバウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2020-02-24T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。