論文の概要: Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning

• arxiv url: http://arxiv.org/abs/2307.05213v2
• Date: Sun, 16 Jun 2024 13:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 12:50:30.077389
• Title: Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning
• Title（参考訳）: 決定焦点学習の適用性を高めるためのスコア関数勾配推定
• Authors: Mattia Silvestri, Senne Berden, Jayanta Mandi, Ali İrfan Mahmutoğulları, Brandon Amos, Tias Guns, Michele Lombardi,
• Abstract要約: 決定中心学習(DFL)パラダイムは、例えば後悔など、タスク損失を直接最小化するためのトレーニングによって制限を克服する。 そこで我々は,このような仮定をせずに,任意のタスク損失に作用するスコア関数推定とスムースに組み合わせた代替手法を提案する。 実験の結果、一般的に多くのエポックを必要とするが、専門的な手法と同等であり、特にソリューションの品質、スケーラビリティ、あるいはその両方の観点から、制約の不確実性に悩む問題に対して、特にうまく機能していることが示されている。
• 参考スコア（独自算出の注目度）: 17.962860438133312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world optimization problems contain parameters that are unknown before deployment time, either due to stochasticity or to lack of information (e.g., demand or travel times in delivery problems). A common strategy in such cases is to estimate said parameters via machine learning (ML) models trained to minimize the prediction error, which however is not necessarily aligned with the downstream task-level error. The decision-focused learning (DFL) paradigm overcomes this limitation by training to directly minimize a task loss, e.g. regret. Since the latter has non-informative gradients for combinatorial problems, state-of-the-art DFL methods introduce surrogates and approximations that enable training. But these methods exploit specific assumptions about the problem structures (e.g., convex or linear problems, unknown parameters only in the objective function). We propose an alternative method that makes no such assumptions, it combines stochastic smoothing with score function gradient estimation which works on any task loss. This opens up the use of DFL methods to nonlinear objectives, uncertain parameters in the problem constraints, and even two-stage stochastic optimization. Experiments show that it typically requires more epochs, but that it is on par with specialized methods and performs especially well for the difficult case of problems with uncertainty in the constraints, in terms of solution quality, scalability, or both.
• Abstract（参考訳）: 多くの実世界の最適化問題は、確率性や情報不足(例えば、配送問題における要求時間や旅行時間)のために、デプロイメント時間前に未知のパラメータを含んでいる。 このような場合の一般的な戦略は、予測エラーを最小限に抑えるために訓練された機械学習(ML)モデルを介して、そのパラメータを推定することである。 意思決定中心の学習(DFL)パラダイムは、タスク損失を直接最小化するためのトレーニングによって、この制限を克服する。 後者は組合せ問題に対する非形式的勾配を持つため、最先端のDFL法は、訓練を可能にするサロゲートや近似を導入している。 しかし、これらの手法は問題構造に関する特定の仮定(例えば、凸や線形問題、目的関数でのみ未知のパラメータ)を利用する。 本稿では,このような仮定をせずに,確率的平滑化と任意のタスク損失に作用するスコア関数勾配推定を組み合わせる方法を提案する。 これにより、非線形目的に対するDFL法の使用、問題制約における不確実なパラメータ、さらには2段階確率最適化さえも開放される。 実験の結果、一般的に多くのエポックを必要とするが、専門的な手法と同等であり、特にソリューションの品質、スケーラビリティ、あるいはその両方の観点から、制約の不確実性に悩む問題に対して、特にうまく機能していることが示されている。

関連論文リスト

• An adaptively inexact first-order method for bilevel optimization with application to hyperparameter learning [2.247833425312671]
  提案アルゴリズムは,実行前に手動で選択するよりも,必要な精度を動的に決定する。 我々の実験は、画像とデータサイエンスにおける様々な問題に対して、我々のアプローチの効率性と実現可能性を示すものである。
  論文  参考訳（メタデータ） (2023-08-19T19:58:05Z)
• Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize [57.22851616806617]
  本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。 提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
  論文  参考訳（メタデータ） (2023-05-26T11:17:45Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
  暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。 計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-11T23:54:27Z)
• Self-adaptive algorithms for quasiconvex programming and applications to machine learning [0.0]
  凸線探索技術や,軽微な仮定の下での汎用的アプローチを含まない,自己適応的なステップサイズ戦略を提案する。 提案手法は,いくつかの計算例から予備的な結果によって検証される。 大規模問題に対する提案手法の有効性を実証するため,機械学習実験に適用した。
  論文  参考訳（メタデータ） (2022-12-13T05:30:29Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Inexact Derivative-Free Optimization for Bilevel Learning [0.27074235008521236]
  変分正則化技術は数理イメージングの分野で支配的である。 この問題を解決するための一般的な戦略は、これらのパラメータをデータから学習することだ。 上層問題の解法では、下層問題の正確な解にアクセスできると仮定することが一般的であり、実際は不可能である。 本稿では, 厳密な低レベル問題解を必要としない不正確な微分自由最適化アルゴリズムを用いて, これらの問題を解くことを提案する。
  論文  参考訳（メタデータ） (2020-06-23T00:17:32Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。