論文の概要: DF2: Distribution-Free Decision-Focused Learning
- arxiv url: http://arxiv.org/abs/2308.05889v1
- Date: Fri, 11 Aug 2023 00:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-14 15:24:24.007881
- Title: DF2: Distribution-Free Decision-Focused Learning
- Title(参考訳): df2: 分散フリーな意思決定中心の学習
- Authors: Lingkai Kong, Wenhao Mu, Jiaming Cui, Yuchen Zhuang, B. Aditya
Prakash, Bo Dai, Chao Zhang
- Abstract要約: 決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。
既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。
DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
- 参考スコア(独自算出の注目度): 53.2476224456902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision-focused learning (DFL) has recently emerged as a powerful approach
for predict-then-optimize problems by customizing a predictive model to a
downstream optimization task. However, existing end-to-end DFL methods are
hindered by three significant bottlenecks: model mismatch error, sample average
approximation error, and gradient approximation error. Model mismatch error
stems from the misalignment between the model's parameterized predictive
distribution and the true probability distribution. Sample average
approximation error arises when using finite samples to approximate the
expected optimization objective. Gradient approximation error occurs as DFL
relies on the KKT condition for exact gradient computation, while most methods
approximate the gradient for backpropagation in non-convex objectives. In this
paper, we present DF2 -- the first \textit{distribution-free} decision-focused
learning method explicitly designed to address these three bottlenecks. Rather
than depending on a task-specific forecaster that requires precise model
assumptions, our method directly learns the expected optimization function
during training. To efficiently learn the function in a data-driven manner, we
devise an attention-based model architecture inspired by the distribution-based
parameterization of the expected objective. Our method is, to the best of our
knowledge, the first to address all three bottlenecks within a single model. We
evaluate DF2 on a synthetic problem, a wind power bidding problem, and a
non-convex vaccine distribution problem, demonstrating the effectiveness of
DF2.
- Abstract(参考訳): 近年DFL(Decision- Focus Learning)が,予測モデルを下流最適化タスクにカスタマイズすることで,予測テーマ最適化問題の強力なアプローチとして登場した。
しかし、既存のdfl法はモデルミスマッチ誤差、サンプル平均近似誤差、勾配近似誤差という3つの重大なボトルネックによって妨げられている。
モデルミスマッチ誤差は、モデルのパラメータ化予測分布と真の確率分布との相違に起因する。
サンプル平均近似誤差は、期待される最適化目標を近似するために有限サンプルを使用する場合に生じる。
勾配近似誤差は、DFLが正確な勾配計算にKKT条件に依存するのに対して、ほとんどの手法は非凸対象の後方伝播の勾配を近似する。
本稿では,これら3つのボトルネックに対処するために明示的に設計された,最初の \textit{distribution-free} 決定中心学習手法であるdf2を提案する。
正確なモデル仮定を必要とするタスク固有の予測器に依存するのではなく、トレーニング中に期待する最適化関数を直接学習する。
データ駆動方式で関数を効率的に学習するため,期待対象の分布に基づくパラメータ化に着想を得た注目モデルアーキテクチャを考案した。
私たちの手法は、私たちの知る限りでは、単一のモデル内で3つのボトルネックすべてに対処する最初の方法です。
我々は,DF2の合成問題,風力発電入札問題,非凸ワクチン配布問題についてDF2の評価を行い,DF2の有効性を実証した。
関連論文リスト
- Gradient Guidance for Diffusion Models: An Optimization Perspective [45.6080199096424]
本稿では,ガイド付きスコアベースサンプリングプロセスの理論的側面について検討する。
事前学習した拡散モデルのサンプリング過程に勾配ガイダンスを加えることは、基本的に正規化最適化問題の解法と等価であることを示す。
論文 参考訳(メタデータ) (2024-04-23T04:51:02Z) - Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。
我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。
限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
論文 参考訳(メタデータ) (2023-11-30T18:59:44Z) - Score Function Gradient Estimation to Widen the Applicability of
Decision-Focused Learning [17.494540497438955]
決定中心学習(DFL)は、タスク損失を直接最小化し、MLモデルをトレーニングすることを目的として、最近提案されたパラダイムである。
本研究では,パラメータ上でのテキスト分布の予測とスコア関数勾配推定(SFGE)を用いて,予測モデルに対する決定中心の更新を計算することにより,これらの制約に対処する。
実験の結果,(1)目的関数と制約の両方で発生する予測に対処し,(2)2段階最適化問題に効果的に取り組むことができることがわかった。
論文 参考訳(メタデータ) (2023-07-11T12:32:13Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs [2.526490864645154]
ニューラルネットワークモデルにより与えられた近似解とトレーニングセットのランダムサンプルを同時に最適化する新しいminmax式を提案する。
鍵となる考え方は、深層生成モデルを用いてトレーニングセット内のランダムサンプルを調整し、近似されたPDE解によって誘導される残差が滑らかなプロファイルを維持することである。
論文 参考訳(メタデータ) (2023-05-30T02:59:18Z) - Performative Prediction with Bandit Feedback: Learning through
Reparameterization [25.169419772432796]
本研究では,データ分散の関数として性能予測を再パラメータ化するフレームワークを開発する。
提案手法は, モデルパラメータの次元にのみ含まれる, 実演用サンプルの総数に準線形な後悔境界を与える。
アプリケーション側では、YouTubeやTokTokのような大規模オンラインレコメンデーションシステムに有効な方法だと考えています。
論文 参考訳(メタデータ) (2023-05-01T21:31:29Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Learning MDPs from Features: Predict-Then-Optimize for Sequential
Decision Problems by Reinforcement Learning [52.74071439183113]
我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。
2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
論文 参考訳(メタデータ) (2021-06-06T23:53:31Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳(メタデータ) (2020-09-01T19:12:11Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳(メタデータ) (2020-08-19T19:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。