論文の概要: Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning

• arxiv url: http://arxiv.org/abs/2307.05213v1
• Date: Tue, 11 Jul 2023 12:32:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 15:05:25.562435
• Title: Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning
• Title（参考訳）: 決定焦点学習の適用性を高めるためのスコア関数勾配推定
• Authors: Mattia Silvestri, Senne Berden, Jayanta Mandi, Ali \.Irfan Mahmuto\u{g}ullar{\i}, Maxime Mulamba, Allegra De Filippo, Tias Guns, Michele Lombardi
• Abstract要約: 決定中心学習(DFL)は、タスク損失を直接最小化し、MLモデルをトレーニングすることを目的として、最近提案されたパラダイムである。 本研究では,パラメータ上でのテキスト分布の予測とスコア関数勾配推定(SFGE)を用いて,予測モデルに対する決定中心の更新を計算することにより,これらの制約に対処する。 実験の結果,(1)目的関数と制約の両方で発生する予測に対処し,(2)2段階最適化問題に効果的に取り組むことができることがわかった。
• 参考スコア（独自算出の注目度）: 17.494540497438955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world optimization problems contain unknown parameters that must be predicted prior to solving. To train the predictive machine learning (ML) models involved, the commonly adopted approach focuses on maximizing predictive accuracy. However, this approach does not always lead to the minimization of the downstream task loss. Decision-focused learning (DFL) is a recently proposed paradigm whose goal is to train the ML model by directly minimizing the task loss. However, state-of-the-art DFL methods are limited by the assumptions they make about the structure of the optimization problem (e.g., that the problem is linear) and by the fact that can only predict parameters that appear in the objective function. In this work, we address these limitations by instead predicting \textit{distributions} over parameters and adopting score function gradient estimation (SFGE) to compute decision-focused updates to the predictive model, thereby widening the applicability of DFL. Our experiments show that by using SFGE we can: (1) deal with predictions that occur both in the objective function and in the constraints; and (2) effectively tackle two-stage stochastic optimization problems.
• Abstract（参考訳）: 多くの実世界の最適化問題は、解決前に予測しなければならない未知のパラメータを含んでいる。 関連する予測機械学習(ML)モデルをトレーニングするために、一般的に採用されているアプローチは、予測精度の最大化に焦点を当てている。 しかし、このアプローチが必ずしも下流のタスク損失を最小化するわけではない。 決定中心学習(DFL)は、タスク損失を直接最小化し、MLモデルをトレーニングすることを目的として、最近提案されたパラダイムである。 しかし、最先端のdfl法は最適化問題(例えば、問題は線形である)の構造に関する仮定と、目的関数に現れるパラメータしか予測できないという事実によって制限される。 本研究では,パラメータ上でのtextit{distributions} の予測とスコア関数勾配推定(SFGE)の適用により,予測モデルに対する決定中心の更新を計算し,DFLの適用性を拡大することで,これらの制約に対処する。 本実験は,sfgeを用いて,(1)目的関数と制約条件の両方において発生する予測を扱うこと,(2)2段階確率最適化問題に効果的に取り組むこと,の2つを示す。

関連論文リスト

• An adaptively inexact first-order method for bilevel optimization with application to hyperparameter learning [2.247833425312671]
  提案アルゴリズムは,実行前に手動で選択するよりも,必要な精度を動的に決定する。 我々の実験は、画像とデータサイエンスにおける様々な問題に対して、我々のアプローチの効率性と実現可能性を示すものである。
  論文  参考訳（メタデータ） (2023-08-19T19:58:05Z)
• Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize [57.22851616806617]
  本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。 提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
  論文  参考訳（メタデータ） (2023-05-26T11:17:45Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
  暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。 計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-11T23:54:27Z)
• Self-adaptive algorithms for quasiconvex programming and applications to machine learning [0.0]
  凸線探索技術や,軽微な仮定の下での汎用的アプローチを含まない,自己適応的なステップサイズ戦略を提案する。 提案手法は,いくつかの計算例から予備的な結果によって検証される。 大規模問題に対する提案手法の有効性を実証するため,機械学習実験に適用した。
  論文  参考訳（メタデータ） (2022-12-13T05:30:29Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
  本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。 各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。 合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-12-17T23:21:53Z)
• Inexact Derivative-Free Optimization for Bilevel Learning [0.27074235008521236]
  変分正則化技術は数理イメージングの分野で支配的である。 この問題を解決するための一般的な戦略は、これらのパラメータをデータから学習することだ。 上層問題の解法では、下層問題の正確な解にアクセスできると仮定することが一般的であり、実際は不可能である。 本稿では, 厳密な低レベル問題解を必要としない不正確な微分自由最適化アルゴリズムを用いて, これらの問題を解くことを提案する。
  論文  参考訳（メタデータ） (2020-06-23T00:17:32Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。