論文の概要: Relaxation-Informed Training of Neural Network Surrogate Models

• arxiv url: http://arxiv.org/abs/2604.22746v1
• Date: Fri, 24 Apr 2026 17:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.547101
• Title: Relaxation-Informed Training of Neural Network Surrogate Models
• Title（参考訳）: ニューラルネットワークサロゲートモデルの緩和インフォームドトレーニング
• Authors: Calvin Tsay,
• Abstract要約: ReLUニューラルネットワーク訓練サロゲートモデルは、MILP(mixed-integer linear program)に正確に埋め込まれる。 結果として得られるMILPのトラクタビリティは、ネットワークの構造的特性に依存する。 提案した正規化器は, 最大4桁のMILP時間を非正規化ベースラインに短縮できることを示す。
• 参考スコア（独自算出の注目度）: 3.9722979176564763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: ReLU neural networks trained as surrogate models can be embedded exactly in mixed-integer linear programs (MILPs), enabling global optimization over the learned function. The tractability of the resulting MILP depends on structural properties of the network, i.e., the number of binary variables in associated formulations and the tightness of the continuous LP relaxation. These properties are determined during training, yet standard training objectives (prediction loss with classical weight regularization) offer no mechanism to directly control them. This work studies training regularizers that directly target downstream MILP tractability. Specifically, we propose simple bound-based regularizers that penalize the big-M constants of MILP formulations and/or the number of unstable neurons. Moreover, we introduce an LP relaxation gap regularizer that explicitly penalizes the per-sample gap of the continuous relaxation at training points. We derive its associated gradient and provide an implementation from LP dual variables without custom automatic differentiation tools. We show that combining the above regularizers can approximate the full total derivative of the LP gap with respect to the network parameters, capturing both direct and indirect sensitivities. Experiments on non-convex benchmark functions and a two-stage stochastic programming problem with quantile neural network surrogates demonstrate that the proposed regularizers can reduce MILP solve times by up to four orders of magnitude relative to an unregularized baseline, while maintaining competitive surrogate model accuracy.
• Abstract（参考訳）: 代理モデルとして訓練されたReLUニューラルネットワークは、MILP(mixed-integer linear program)に正確に埋め込まれ、学習関数のグローバルな最適化を可能にする。 結果として得られるMILPのトラクタビリティは、ネットワークの構造的特性、すなわち関連する定式化におけるバイナリ変数の数と連続LP緩和の厳密性に依存する。 これらの特性は訓練中に決定されるが、標準的な訓練目標(古典的な重量正規化による予測損失)はそれらを直接制御するメカニズムを提供しない。 本研究は、下流MILPトラクタビリティを直接ターゲットとするレギュレータの訓練を行う。 具体的には、MILP定式化のビッグM定数や不安定なニューロンの数をペナル化する単純な有界正則化器を提案する。 さらに, LP緩和ギャップ正規化器を導入し, トレーニング点における連続緩和のサンプルごとのギャップを明示する。 我々は、関連する勾配を導出し、カスタム自動微分ツールを使わずにLP双対変数から実装する。 上記の正規化器を組み合わせることで、ネットワークパラメータに関してLPギャップの完全な全微分を近似することができ、直接感度と間接感度の両方を捉えることができることを示す。 非凸ベンチマーク関数の実験と、量子ニューラルネットワークサロゲートを用いた2段階確率計画問題により、提案された正規化器は、競合サロゲートモデルの精度を維持しながら、非正規化ベースラインに対して最大4桁のMILP解決時間を短縮できることを示した。

関連論文リスト

• A Nonlinear Separation Principle: Applications to Neural Networks, Control and Learning [3.2241707757984788]
  本稿では,連続時間および離散時間発射速度とホップフィールド再帰型ニューラルネットワーク(RNN)について検討する。 本稿では,契約状態フィードバックコントローラと契約オブザーバの相互接続に対するグローバル指数安定性を保証する非線形分離原理を導入する。 焼成速度とホップフィールドニューラルネットワークアーキテクチャの両方の縮約性を保証する鋭い線形行列不等式(LMI)条件を導出する。
  論文  参考訳（メタデータ） (2026-04-16T17:12:32Z)
• FedSQ: Optimized Weight Averaging via Fixed Gating [1.2058208023553034]
  フェデレーション学習は、生データを共有することなく、組織間で協調的なトレーニングを可能にする。 本稿では、DualCopyに基づくトランスファードニューラルフェデレーションであるFedSQ(Federated Structure-Quantitative Learning)を提案する。 ゲーティングの固定は、学習を不均一な分割下での凝集を安定化するアフィン内部の精製に還元する。
  論文  参考訳（メタデータ） (2026-04-03T11:54:23Z)
• Recurrent Equivariant Constraint Modulation: Learning Per-Layer Symmetry Relaxation from Data [36.287199718605]
  等価ニューラルネットワークは、基礎となるタスク対称性を利用して一般化を改善する。 本稿では,レイヤワイド制約変調機構であるRecurrent Equivariant ConstraintModulation (RECM)を提案する。 RECMは、トレーニング信号と各層の入力ターゲット分布の対称性からのみ適切な緩和レベルを学習する。
  論文  参考訳（メタデータ） (2026-02-02T21:59:35Z)
• A universal linearized subspace refinement framework for neural networks [1.636137854123538]
  本稿では、LSR(Linearized Subspace Refinement)を導入し、LSR(Linearized Subspace Refinement)とLSR(Linearized Subspace Refinement)について述べる。 LSRは、標準学習された解よりも精度が大幅に向上した洗練された予測器を得る。 複合損失構造に関する問題に対しては、一発LSRと教師付き非線形アライメントを交互に行うIterative LSRを導入する。
  論文  参考訳（メタデータ） (2026-01-20T14:03:28Z)
• Mechanistic Insights into Grokking from the Embedding Layer [15.676058752772287]
  ニューラルネットワークの遅延一般化であるGrokkingは、トランスフォーマーやスタタネートで観測されているが、それを駆動するコンポーネントはまだ探索されていない。 埋め込みはグルーキングの中心であり、インプットの導入はモジュラー演算タスクにおける遅延一般化を誘導する。 我々の手法はグルーキング力学を改良するだけでなく、バイ線形相互作用が効率的なトレーニングを妨げるトランスフォーマー最適化の幅広い課題にまで拡張する。
  論文  参考訳（メタデータ） (2025-05-21T15:12:34Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
  我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。 我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
  論文  参考訳（メタデータ） (2023-07-05T13:52:10Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。