論文の概要: Formulations and scalability of neural network surrogates in nonlinear optimization problems

• arxiv url: http://arxiv.org/abs/2412.11403v1
• Date: Mon, 16 Dec 2024 03:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:54:36.591645
• Title: Formulations and scalability of neural network surrogates in nonlinear optimization problems
• Title（参考訳）: 非線形最適化問題におけるニューラルネットワークサロゲートの定式化と拡張性
• Authors: Robert B. Parker, Oscar Dowson, Nicole LoGiudice, Manuel Garcia, Russell Bent,
• Abstract要約: 非線形制約最適化問題において、トレーニングニューラルネットワークを表現するためのフルスペース、リダクションスペース、グレーボックスの定式化を比較した。 これらの定式化は、過渡安定に制約された、セキュリティに制約のある交流電流最適潮流(SCOPF)問題で検証する。 我々は、安定性の制約のないより単純なSCOPF問題に要する時間として2.5$timesで、我々の最大のニューラルネットワークサロゲートを用いて、テスト問題を解決する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We compare full-space, reduced-space, and gray-box formulations for representing trained neural networks in nonlinear constrained optimization problems. We test these formulations on a transient stability-constrained, security-constrained alternating current optimal power flow (SCOPF) problem where the transient stability criteria are represented by a trained neural network surrogate. Optimization problems are implemented in JuMP and trained neural networks are embedded using a new Julia package: MathOptAI.jl. To study the bottlenecks of the three formulations, we use neural networks with up to 590 million trained parameters. The full-space formulation is bottlenecked by the linear solver used by the optimization algorithm, while the reduced-space formulation is bottlenecked by the algebraic modeling environment and derivative computations. The gray-box formulation is the most scalable and is capable of solving with the largest neural networks tested. It is bottlenecked by evaluation of the neural network's outputs and their derivatives, which may be accelerated with a graphics processing unit (GPU). Leveraging the gray-box formulation and GPU acceleration, we solve our test problem with our largest neural network surrogate in 2.5$\times$ the time required for a simpler SCOPF problem without the stability constraint.
• Abstract（参考訳）: 非線形制約最適化問題において、トレーニングニューラルネットワークを表現するためのフルスペース、リダクションスペース、グレーボックスの定式化を比較した。 これらの定式化は、過渡安定性基準をトレーニングされたニューラルネットワークサロゲートで表すSCOPF問題において、過渡安定性制約付き、セキュリティ制約付き交流電流最適潮流(SCOPF)問題で検証する。 最適化問題はJuMPで実装され、トレーニングされたニューラルネットワークには新しいJuliaパッケージであるMathOptAI.jlが組み込まれている。 3つの定式化のボトルネックを研究するために、最大5億9000万のトレーニングされたパラメータを持つニューラルネットワークを使用します。 全空間の定式化は最適化アルゴリズムで用いられる線形解法によってボトルネック化され、縮小空間の定式化は代数的モデリング環境や微分計算によってボトルネック化される。 グレーボックスの定式化は最もスケーラブルで、テストされた最大のニューラルネットワークで解決することができる。 ニューラルネットワークの出力と、グラフィック処理ユニット(GPU)で加速されるデリバティブの評価によってボトルネックとなる。 グレーボックスの定式化とGPUアクセラレーションを活用して、安定性の制約のないより単純なSCOPF問題に要する時間に対して2.5$\timesで、我々の最大のニューラルネットワークサロゲートでテスト問題を解く。

関連論文リスト

• An analysis of optimization problems involving ReLU neural networks [38.258426534664046]
  本研究では,混合整数型プログラミング解法における実行時間挙動の解析と改善手法について検討する。 本論文では,これらの手法を3つのベンチマーク問題に対して数値的に比較する。 主要な出発点として、我々は、しばしば望まれるニューラルネットワークモデルの冗長性と、関連する最適化問題を解決するための計算コストとの間のトレードオフを観察し、定量化する。
  論文  参考訳（メタデータ） (2025-02-05T09:18:07Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Optimization Over Trained Neural Networks: Taking a Relaxing Walk [4.517039147450688]
  ニューラルネットワークモデルの大域的および局所的線形緩和を探索し,よりスケーラブルな解法を提案する。 我々の解法は最先端のMILP解法と競合し、それ以前には入力、深さ、ニューロン数の増加によるより良い解法を導出する。
  論文  参考訳（メタデータ） (2024-01-07T11:15:00Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
  我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。 ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。 ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
  論文  参考訳（メタデータ） (2020-05-28T15:34:10Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
  自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。 本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。 その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。