論文の概要: A New Computationally Simple Approach for Implementing Neural Networks with Output Hard Constraints

• arxiv url: http://arxiv.org/abs/2307.10459v1
• Date: Wed, 19 Jul 2023 21:06:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:27:36.989912
• Title: A New Computationally Simple Approach for Implementing Neural Networks with Output Hard Constraints
• Title（参考訳）: 出力ハード制約付きニューラルネットワークの実装のための新しい計算簡単なアプローチ
• Authors: Andrei V. Konstantinov and Lev V. Utkin
• Abstract要約: ニューラルネットワークの出力値に厳密な凸制約を課す新しい手法を提案する。 マッピングは、出力の制約のある追加のニューラルネットワーク層によって実装される。 提案手法は,出力ベクトルだけでなく,入力による共同制約にも制約が課される場合に,単純に拡張される。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new computationally simple method of imposing hard convex constraints on the neural network output values is proposed. The key idea behind the method is to map a vector of hidden parameters of the network to a point that is guaranteed to be inside the feasible set defined by a set of constraints. The mapping is implemented by the additional neural network layer with constraints for output. The proposed method is simply extended to the case when constraints are imposed not only on the output vectors, but also on joint constraints depending on inputs. The projection approach to imposing constraints on outputs can simply be implemented in the framework of the proposed method. It is shown how to incorporate different types of constraints into the proposed method, including linear and quadratic constraints, equality constraints, and dynamic constraints, constraints in the form of boundaries. An important feature of the method is its computational simplicity. Complexities of the forward pass of the proposed neural network layer by linear and quadratic constraints are O(n*m) and O(n^2*m), respectively, where n is the number of variables, m is the number of constraints. Numerical experiments illustrate the method by solving optimization and classification problems. The code implementing the method is publicly available.
• Abstract（参考訳）: ニューラルネットワークの出力値に厳密な凸制約を課す新しい計算方法を提案する。 この手法の背景にある重要な考え方は、ネットワークの隠れパラメータのベクトルを、制約セットによって定義された実行可能なセット内にあることが保証される点にマッピングすることである。 マッピングは、出力の制約のある追加のニューラルネットワーク層によって実装される。 提案手法は,出力ベクトルだけでなく,入力による共同制約にも制約が課される場合に,単純に拡張される。 出力に制約を課すプロジェクションアプローチは,提案手法の枠組みで簡単に実装できる。 線形および二次的な制約、等式制約、動的制約、境界の形での制約を含む、様々なタイプの制約を、提案手法に組み込む方法を示す。 この手法の重要な特徴は計算の単純さである。 線形および二次的な制約によるニューラルネットワーク層の前方通過の複雑さはそれぞれ O(n*m) と O(n^2*m) であり、n は変数の数、m は制約の数である。 数値実験により最適化と分類問題の解法が示される。 メソッドを実装するコードは公開されています。

関連論文リスト

• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Symmetric Tensor Networks for Generative Modeling and Constrained Combinatorial Optimization [72.41480594026815]
  ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。 これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。 本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
  論文  参考訳（メタデータ） (2022-11-16T18:59:54Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Constrained Feedforward Neural Network Training via Reachability Analysis [0.0]
  安全上の制約に従うためにニューラルネットワークをトレーニングすることは、依然としてオープンな課題である。 本研究は, 整列線形単位(ReLU)非線形性を持つフィードフォワードニューラルネットワークを同時に訓練し, 検証する制約付き手法を提案する。
  論文  参考訳（メタデータ） (2021-07-16T04:03:01Z)
• Efficient methods for Gaussian Markov random fields under sparse linear constraints [2.741266294612776]
  線形制約付きガウスマルコフランダム場(GMRF)の推論とシミュレーション法は、制約数が大きければ計算的に禁止される。 本稿では,スパース制約の一般的な場合において,これらの課題を克服するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-03T09:31:12Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)
• Sample-Specific Output Constraints for Neural Networks [0.0]
  ConstraintNetは、追加入力を介して各フォワードパスの出力スペースを制限できるニューラルネットワークである。 我々は凸ポリトープの形で制約に焦点を合わせ、さらなる制約のクラスへの一般化を示す。 安全クリティカルなアプリケーションとして,車両用追従オブジェクトコントローラへの応用を実演する。
  論文  参考訳（メタデータ） (2020-03-23T13:13:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。