論文の概要: Modeling Design and Control Problems Involving Neural Network Surrogates
- arxiv url: http://arxiv.org/abs/2111.10489v1
- Date: Sat, 20 Nov 2021 01:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-26 05:26:30.625522
- Title: Modeling Design and Control Problems Involving Neural Network Surrogates
- Title（参考訳）: ニューラルネットワークサロゲートを含むモデリング設計と制御問題
- Authors: Dominic Yang, Prasanna Balaprakash, Sven Leyffer
- Abstract要約: ニューラルネットワークで表される代理モデルを含む非線形最適化問題を考察する。
ニューラルネットワーク評価を直接最適化モデルに組み込む方法を示し、収束を防止できるこのアプローチの難しさを強調します。
本稿では、ReLUを活性化したフィードフォワードニューラルネットワークの特定の場合において、これらの問題の2つの別の定式化を提案する。
- 参考スコア（独自算出の注目度）: 1.1602089225841632
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider nonlinear optimization problems that involve surrogate models
represented by neural networks. We demonstrate first how to directly embed
neural network evaluation into optimization models, highlight a difficulty with
this approach that can prevent convergence, and then characterize stationarity
of such models. We then present two alternative formulations of these problems
in the specific case of feedforward neural networks with ReLU activation: as a
mixed-integer optimization problem and as a mathematical program with
complementarity constraints. For the latter formulation we prove that
stationarity at a point for this problem corresponds to stationarity of the
embedded formulation. Each of these formulations may be solved with
state-of-the-art optimization methods, and we show how to obtain good initial
feasible solutions for these methods. We compare our formulations on three
practical applications arising in the design and control of combustion engines,
in the generation of adversarial attacks on classifier networks, and in the
determination of optimal flows in an oil well network.
- Abstract（参考訳）: ニューラルネットワークで表される代理モデルを含む非線形最適化問題を考察する。
まず、ニューラルネットワーク評価を直接最適化モデルに組み込む方法を示し、収束を防止できるこのアプローチの難しさを強調し、そのようなモデルの定常性を特徴づける。
次に,reluアクティベーションを伴うフィードフォワードニューラルネットワークの特定の場合において,これらの問題に対する2つの代替的定式化を示す:混合整数最適化問題と相補性制約を持つ数学的プログラムである。
後者の定式化について、この問題の点における定常性は埋め込み定式化の定常性に対応することを証明する。
それぞれの定式化は最先端の最適化手法で解き、これらの方法に対して優れた初期実現可能な解を得る方法を示す。
我々は, 燃焼機関の設計と制御, 分類器ネットワークに対する対角攻撃の発生, 油井ネットワークにおける最適流れの決定における3つの実用的応用について, 定式化を比較した。
関連論文リスト
- Diffusion Models as Network Optimizers: Explorations and Analysis [71.69869025878856]
生成拡散モデル(GDM)は,ネットワーク最適化の新しいアプローチとして期待されている。
本研究ではまず,生成モデルの本質的な特徴について考察する。
本稿では,識別的ネットワーク最適化よりも生成モデルの利点を簡潔かつ直感的に示す。
論文 参考訳（メタデータ） (2024-11-01T09:05:47Z) - A Primal-dual algorithm for image reconstruction with ICNNs [3.4797100095791706]
我々は、正規化器が入力ニューラルネットワーク(ICNN)によってパラメータ化されるデータ駆動変分フレームワークにおける最適化問題に対処する。
勾配に基づく手法はそのような問題を解決するのに一般的に用いられるが、非滑らかさを効果的に扱うのに苦労する。
提案手法は, 速度と安定性の両方の観点から, 下位段階の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-10-16T10:36:29Z) - Rational-WENO: A lightweight, physically-consistent three-point weighted essentially non-oscillatory scheme [14.120671138290104]
我々は、解の局所的な滑らかさを正確に推定するために有理ニューラルネットワークを用いる。
この手法は, 散逸を著しく低減した粒度の再構築を実現する。
提案手法の有効性を,数個の1次元,2次元,3次元の流体問題に対して示す。
論文 参考訳（メタデータ） (2024-09-13T22:11:03Z) - Reducing the Need for Backpropagation and Discovering Better Optima With
Explicit Optimizations of Neural Networks [4.807347156077897]
本稿では,ニューラルネットワークの最適化のための計算効率のよい代替案を提案する。
我々は、単純なフィードフォワード言語モデルに対する明確な解決策を導出する。
実験では,明示的な解がほぼ最適であることを示す。
論文 参考訳（メタデータ） (2023-11-13T17:38:07Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - A Stable and Scalable Method for Solving Initial Value PDEs with Neural
Networks [52.5899851000193]
我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。
このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。
まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
論文 参考訳（メタデータ） (2023-04-28T17:28:18Z) - Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。
1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。
本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
論文 参考訳（メタデータ） (2023-01-28T01:50:42Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳（メタデータ） (2021-12-13T20:50:54Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。