論文の概要: DCEmbed: Scalable Optimization over Neural Surrogates

• arxiv url: http://arxiv.org/abs/2609.33879v1
• Date: Sun, 27 Sep 2026 19:56:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:03:01.598228
• Title: DCEmbed: Scalable Optimization over Neural Surrogates
• Title（参考訳）: DCEmbed: ニューラルネットワークに対するスケーラブルな最適化
• Abstract要約: ニューラルネットワークサロゲートは、高価なまたは難解なモデルコンポーネントを効率的な学習近似に置き換えることで、大規模な最適化を加速することができる。 ReLUアクティベートされたニューラルネットワークの標準的な正確なエンコーディングにより、凸や混合整数ソルバによって問題の繰り返しを解決できる。 二次プログラム,混合整数資源割り当て,ニューラル二段階プログラミングの実験では,正確な混合インテガーを用いた手法よりも,高品質な実現可能な解への高速な進展を示す。
• 参考スコア（独自算出の注目度）: 8.317971504019766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural surrogates can accelerate large-scale optimization by replacing expensive or intractable model components with efficient learned approximations, but solving the resulting embedded problems can remain prohibitively costly. For instance, standard exact encodings of neural networks with ReLU activations allow the problem to be solved by mixed-integer solvers, but add large numbers of binary variables to accommodate the nonlinearity of the activations, which can render the problem computationally prohibitive. To address this, we propose DCEmbed, a heuristic for optimization problems with embedded neural surrogates that leverages the difference-of-convex (DC) representation of the network and avoids adding activation binaries. Exploiting shared structure within the DC representation of a ReLU network, we derive a reduced-size, exact formulation for its convex components that can be embedded in optimization problems using just two linear inequalities and one continuous auxiliary variable per hidden neuron. Using this, the problem is solved via an iterative penalty convex-concave procedure, where only the concave portions of the neural terms are approximated at each stage. The original objective, constraints, and any discrete decisions are retained, allowing standard convex or mixed-integer optimization solvers to optimize the host and surrogate jointly at each iteration. In experiments on quadratic programs, mixed-integer resource allocation, and neural two-stage stochastic programming, our method demonstrates much faster progress toward high-quality feasible solutions than approaches using exact mixed-integer embeddings. In particular, DCEmbed achieves $4\times$ lower normalized primal integral than the best exact baseline on the resource allocation problem, while in two-stage stochastic programming it reaches the global surrogate optimum $\sim 5\times$ faster than Gurobi ML.
• Abstract（参考訳）: ニューラルネットワークサロゲートは、高価または難解なモデルコンポーネントを効率的な学習近似に置き換えることで、大規模な最適化を加速することができるが、結果として生じる組込み問題の解決は、違法にコストがかかる。 例えば、ReLUアクティベート付きニューラルネットワークの標準的な正確なエンコーディングでは、混合整数ソルバによって問題を解くことができるが、アクティベーションの非線形性に対応するために多数のバイナリ変数を追加することで、計算的に禁止される。 そこで我々はDCEmbedを提案する。DCEmbedは、ネットワークの差動凸(DC)表現を活用し、アクティベーションバイナリの追加を避ける、組込みニューラルネットワークサロゲートによる最適化問題のヒューリスティックである。 ReLUネットワークの直流表現内で共有構造を爆発させ,2つの線形不等式と1つの隠れニューロンあたりの連続的補助変数を用いて最適化問題に組み込むことができる凸成分の小型かつ正確な定式化を導出する。 これを用いて、神経項の凹部のみを各段階で近似する反復的ペナルティ凸凹部法により、この問題を解決する。 元の目的、制約、決定的な決定は保持され、標準凸あるいは混合整数最適化ソルバがホストを最適化し、各イテレーションで共同でサロゲートすることができる。 2次プログラム、混合整数資源割り当て、ニューラルネットワーク二段階確率計画の実験において、本手法は正確な混合整数埋め込みを用いた手法よりも、高品質な実現可能な解へのはるかに高速な進展を示す。 特に、DCEmbedはリソース割り当て問題における最も正確なベースラインよりも4\times$低い正規化原始積分を達成し、一方2段階確率的プログラミングでは、グローバルサロゲート最適化の$\sim 5\times$はGurobi MLよりも高速である。

関連論文リスト

• lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers [3.497905742472625]
  微分可能な最適化は、ネットワークパイプラインに数学的最適化の構造的保証をもたらし、エンドツーエンドでトレーニングすることができる。 既存の微分可能解法はしばしば、特殊な構造に依存しているため、限られたモデリングに悩まされる。 一般制約付き非ニュートンアルゴリズムに対する行列自由微分可微分解法を提案する。
  論文  参考訳（メタデータ） (2026-09-27T14:48:30Z)
• Neur2BiLO: Neural Bilevel Optimization [15.876446950057389]
  双方向最適化は、リーダーが目的の機能を最小化する最初の決定を下すネストした問題を扱う。 Neur2BiLOは、リーダーまたはフォロワーの値関数のニューラルネットワーク近似を、教師付き回帰を通じてトレーニングし、簡単に解ける混合整数プログラムに組み込む。
  論文  参考訳（メタデータ） (2024-02-04T15:54:37Z)
• Reducing the Need for Backpropagation and Discovering Better Optima With Explicit Optimizations of Neural Networks [4.807347156077897]
  本稿では,ニューラルネットワークの最適化のための計算効率のよい代替案を提案する。 我々は、単純なフィードフォワード言語モデルに対する明確な解決策を導出する。 実験では,明示的な解がほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2023-11-13T17:38:07Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Neural Stochastic Dual Dynamic Programming [99.80617899593526]
  我々は、問題インスタンスを断片的線形値関数にマッピングすることを学ぶトレーニング可能なニューラルモデルを導入する。 $nu$-SDDPは、ソリューションの品質を犠牲にすることなく、問題解決コストを大幅に削減できる。
  論文  参考訳（メタデータ） (2021-12-01T22:55:23Z)
• Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
  通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。 我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。 我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
  論文  参考訳（メタデータ） (2021-06-08T15:54:44Z)
• Neural Spectrahedra and Semidefinite Lifts: Global Convex Optimization of Polynomial Activation Neural Networks in Fully Polynomial-Time [31.94590517036704]
  2次活性化を持つ2層数値ネットワークの完全凸最適化定式化を考案する。 本研究では,全入力データの複雑度とサンプルサイズが半定常的なニューラル・グローバル最適化であることを示した。 提案手法は, 標準バックプロパゲーション法に比べ, テスト精度が大幅に向上した。
  論文  参考訳（メタデータ） (2021-01-07T08:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。