論文の概要: You Shall Pass: Dealing with the Zero-Gradient Problem in Predict and
Optimize for Convex Optimization
- arxiv url: http://arxiv.org/abs/2307.16304v2
- Date: Fri, 2 Feb 2024 12:06:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:05:47.310752
- Title: You Shall Pass: Dealing with the Zero-Gradient Problem in Predict and
Optimize for Convex Optimization
- Title（参考訳）: You Shall Pass: 凸最適化の予測と最適化におけるゼロ勾配問題への対処
- Authors: Grigorii Veviurko, Wendelin B\"ohmer, and Mathijs de Weerdt
- Abstract要約: 予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、ますます人気のある意思決定パラダイムである。
そのようなモデルを訓練する上で重要な課題は、パラメータに関する最適化問題の解のヤコビアンの計算である。
ヤコビアンは大きさの可能なヌル空間を持つことができ、したがってトレーニングプロセスが最適下点に留まることが示される。
- 参考スコア（独自算出の注目度）: 1.98873083514863
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predict and optimize is an increasingly popular decision-making paradigm that
employs machine learning to predict unknown parameters of optimization
problems. Instead of minimizing the prediction error of the parameters, it
trains predictive models using task performance as a loss function. The key
challenge to train such models is the computation of the Jacobian of the
solution of the optimization problem with respect to its parameters. For linear
problems, this Jacobian is known to be zero or undefined; hence, approximations
are usually employed. For non-linear convex problems, however, it is common to
use the exact Jacobian. This paper demonstrates that the zero-gradient problem
appears in the non-linear case as well -- the Jacobian can have a sizeable null
space, thereby causing the training process to get stuck in suboptimal points.
Through formal proofs, this paper shows that smoothing the feasible set
resolves this problem. Combining this insight with known techniques from the
literature, such as quadratic programming approximation and projection distance
regularization, a novel method to approximate the Jacobian is derived. In
simulation experiments, the proposed method increases the performance in the
non-linear case and at least matches the existing state-of-the-art methods for
linear problems.
- Abstract（参考訳）: 予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、人気の高い意思決定パラダイムである。
パラメータの予測誤差を最小化する代わりに、タスクパフォーマンスを損失関数として使用する予測モデルを訓練する。
このようなモデルを訓練する上での鍵となる課題は、パラメータに関する最適化問題の解のヤコビアンの計算である。
線型問題に対しては、このヤコビアンはゼロあるいは未定義であることが知られているため、近似は通常用いられる。
しかし、非線形凸問題に対しては、正確なヤコビアンを用いることが一般的である。
本稿では、ゼロ勾配問題も非線形の場合にも現れることを実証する。ヤコビアンは大きさのヌル空間を持つことができ、それによって訓練過程が最適でない点に留まってしまう。
形式的証明を通じて, 実現可能集合の平滑化がこの問題を解消することを示す。
この洞察と二次計画近似や射影距離正規化のような文献からの既知の手法を組み合わせることで、ジャコビアンを近似する新しい方法が導出される。
シミュレーション実験では, 提案手法は非線形の場合の性能を向上し, 線形問題に対する既存の最先端手法と少なくとも一致する。
関連論文リスト
- A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。
非凸アルゴリズムに新しい統一仮定を導入する。
論文 参考訳（メタデータ） (2025-02-17T21:25:31Z) - WENDy for Nonlinear-in-Parameters ODEs [1.9573380763700712]
WEN(Wak-form Estimation of Non-linear Dynamics)は、非線形インである通常の微分方程式の系に対応するために拡張される。
提案手法の実用的メリットを実証するために,一連のベンチマークシステムに結果を提示する。
論文 参考訳（メタデータ） (2025-02-13T01:40:21Z) - Forecasting Outside the Box: Application-Driven Optimal Pointwise Forecasts for Stochastic Optimization [0.0]
本稿では,未知の状況の最適近似を導出する統合学習と最適化手法を提案する。
文献の在庫問題と実データを用いた自転車共有問題から得られた数値結果から,提案手法が有効であることを示す。
論文 参考訳（メタデータ） (2024-11-05T21:54:50Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T01:32:06Z) - Maximum Optimality Margin: A Unified Approach for Contextual Linear
Programming and Inverse Linear Programming [10.06803520598035]
我々は、下流最適化の最適条件によって機械学習損失関数が機能する最大最適マージンと呼ばれる問題に対する新しいアプローチを開発する。
論文 参考訳（メタデータ） (2023-01-26T17:53:38Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳（メタデータ） (2021-05-04T17:31:28Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Automatically Learning Compact Quality-aware Surrogates for Optimization
Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。
最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。
我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文 参考訳（メタデータ） (2020-06-18T19:11:54Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳（メタデータ） (2020-05-19T07:44:52Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。