論文の概要: You Shall not Pass: the Zero-Gradient Problem in Predict and Optimize for Convex Optimization

• arxiv url: http://arxiv.org/abs/2307.16304v1
• Date: Sun, 30 Jul 2023 19:14:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 16:27:17.101863
• Title: You Shall not Pass: the Zero-Gradient Problem in Predict and Optimize for Convex Optimization
• Title（参考訳）: 通過しない:凸最適化の予測と最適化におけるゼロ勾配問題
• Authors: Grigorii Veviurko, Wendelin B\"ohmer, and Mathijs de Weerdt
• Abstract要約: 予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、ますます人気のある意思決定パラダイムである。 本稿では,ゼロ段階問題であるこのアプローチの欠点について述べる。 この問題を解決する方法を導入し、2つの実世界のベンチマークを用いて検証する。
• 参考スコア（独自算出の注目度）: 0.5161531917413706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predict and optimize is an increasingly popular decision-making paradigm that employs machine learning to predict unknown parameters of optimization problems. Instead of minimizing the prediction error of the parameters, it trains predictive models using task performance as a loss function. In the convex optimization domain, predict and optimize has seen significant progress due to recently developed methods for differentiating optimization problem solutions over the problem parameters. This paper identifies a yet unnoticed drawback of this approach -- the zero-gradient problem -- and introduces a method to solve it. The suggested method is based on the mathematical properties of differential optimization and is verified using two real-world benchmarks.
• Abstract（参考訳）: 予測と最適化は、機械学習を用いて最適化問題の未知のパラメータを予測する、人気の高い意思決定パラダイムである。 パラメータの予測誤差を最小化する代わりに、タスクパフォーマンスを損失関数として使用する予測モデルを訓練する。 convex最適化領域では、最近開発された問題パラメータ上の最適化問題解を区別する手法により、予測と最適化が著しく進歩している。 本稿では,このアプローチの欠点であるゼロ勾配問題(0-gradient problem)を特定し,その解決法を提案する。 提案手法は微分最適化の数学的性質に基づき, 2つの実世界のベンチマークを用いて検証する。

関連論文リスト

• Forecasting Outside the Box: Application-Driven Optimal Pointwise Forecasts for Stochastic Optimization [0.0]
  本稿では,未知の状況の最適近似を導出する統合学習と最適化手法を提案する。 文献の在庫問題と実データを用いた自転車共有問題から得られた数値結果から,提案手法が有効であることを示す。
  論文  参考訳（メタデータ） (2024-11-05T21:54:50Z)
• Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and Optimization [59.386153202037086]
  Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。 このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。 本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:32:06Z)
• Maximum Optimality Margin: A Unified Approach for Contextual Linear Programming and Inverse Linear Programming [10.06803520598035]
  我々は、下流最適化の最適条件によって機械学習損失関数が機能する最大最適マージンと呼ばれる問題に対する新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2023-01-26T17:53:38Z)
• Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
  機械学習における制約付き最適化問題の一家系を考察する。 我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。 本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
  論文  参考訳（メタデータ） (2021-07-23T00:04:39Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
  予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。 本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。 本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T00:26:56Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)
• Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems [12.010310883787911]
  我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。 実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
  論文  参考訳（メタデータ） (2020-05-19T07:44:52Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。