論文の概要: You Shall Pass: Dealing with the Zero-Gradient Problem in Predict and Optimize for Convex Optimization

• arxiv url: http://arxiv.org/abs/2307.16304v2
• Date: Fri, 2 Feb 2024 12:06:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 20:05:47.310752
• Title: You Shall Pass: Dealing with the Zero-Gradient Problem in Predict and Optimize for Convex Optimization
• Title（参考訳）: You Shall Pass: 凸最適化の予測と最適化におけるゼロ勾配問題への対処
• Authors: Grigorii Veviurko, Wendelin B\"ohmer, and Mathijs de Weerdt
• Abstract要約: 予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、ますます人気のある意思決定パラダイムである。 そのようなモデルを訓練する上で重要な課題は、パラメータに関する最適化問題の解のヤコビアンの計算である。 ヤコビアンは大きさの可能なヌル空間を持つことができ、したがってトレーニングプロセスが最適下点に留まることが示される。
• 参考スコア（独自算出の注目度）: 1.98873083514863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predict and optimize is an increasingly popular decision-making paradigm that employs machine learning to predict unknown parameters of optimization problems. Instead of minimizing the prediction error of the parameters, it trains predictive models using task performance as a loss function. The key challenge to train such models is the computation of the Jacobian of the solution of the optimization problem with respect to its parameters. For linear problems, this Jacobian is known to be zero or undefined; hence, approximations are usually employed. For non-linear convex problems, however, it is common to use the exact Jacobian. This paper demonstrates that the zero-gradient problem appears in the non-linear case as well -- the Jacobian can have a sizeable null space, thereby causing the training process to get stuck in suboptimal points. Through formal proofs, this paper shows that smoothing the feasible set resolves this problem. Combining this insight with known techniques from the literature, such as quadratic programming approximation and projection distance regularization, a novel method to approximate the Jacobian is derived. In simulation experiments, the proposed method increases the performance in the non-linear case and at least matches the existing state-of-the-art methods for linear problems.
• Abstract（参考訳）: 予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、人気の高い意思決定パラダイムである。 パラメータの予測誤差を最小化する代わりに、タスクパフォーマンスを損失関数として使用する予測モデルを訓練する。 このようなモデルを訓練する上での鍵となる課題は、パラメータに関する最適化問題の解のヤコビアンの計算である。 線型問題に対しては、このヤコビアンはゼロあるいは未定義であることが知られているため、近似は通常用いられる。 しかし、非線形凸問題に対しては、正確なヤコビアンを用いることが一般的である。 本稿では、ゼロ勾配問題も非線形の場合にも現れることを実証する。ヤコビアンは大きさのヌル空間を持つことができ、それによって訓練過程が最適でない点に留まってしまう。 形式的証明を通じて, 実現可能集合の平滑化がこの問題を解消することを示す。 この洞察と二次計画近似や射影距離正規化のような文献からの既知の手法を組み合わせることで、ジャコビアンを近似する新しい方法が導出される。 シミュレーション実験では, 提案手法は非線形の場合の性能を向上し, 線形問題に対する既存の最先端手法と少なくとも一致する。

関連論文リスト

• Forecasting Outside the Box: Application-Driven Optimal Pointwise Forecasts for Stochastic Optimization [0.0]
  本稿では,未知の状況の最適近似を導出する統合学習と最適化手法を提案する。 文献の在庫問題と実データを用いた自転車共有問題から得られた数値結果から,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-05T21:54:50Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Maximum Optimality Margin: A Unified Approach for Contextual Linear Programming and Inverse Linear Programming [10.06803520598035]
  我々は、下流最適化の最適条件によって機械学習損失関数が機能する最大最適マージンと呼ばれる問題に対する新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2023-01-26T17:53:38Z)
• Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
  機械学習における制約付き最適化問題の一家系を考察する。 我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。 本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
  論文  参考訳（メタデータ） (2021-07-23T00:04:39Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
  我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。 実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-19T07:44:52Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。