論文の概要: DF2: Distribution-Free Decision-Focused Learning

• arxiv url: http://arxiv.org/abs/2308.05889v1
• Date: Fri, 11 Aug 2023 00:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 15:24:24.007881
• Title: DF2: Distribution-Free Decision-Focused Learning
• Title（参考訳）: df2: 分散フリーな意思決定中心の学習
• Authors: Lingkai Kong, Wenhao Mu, Jiaming Cui, Yuchen Zhuang, B. Aditya Prakash, Bo Dai, Chao Zhang
• Abstract要約: 決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。 既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
• 参考スコア（独自算出の注目度）: 53.2476224456902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision-focused learning (DFL) has recently emerged as a powerful approach for predict-then-optimize problems by customizing a predictive model to a downstream optimization task. However, existing end-to-end DFL methods are hindered by three significant bottlenecks: model mismatch error, sample average approximation error, and gradient approximation error. Model mismatch error stems from the misalignment between the model's parameterized predictive distribution and the true probability distribution. Sample average approximation error arises when using finite samples to approximate the expected optimization objective. Gradient approximation error occurs as DFL relies on the KKT condition for exact gradient computation, while most methods approximate the gradient for backpropagation in non-convex objectives. In this paper, we present DF2 -- the first \textit{distribution-free} decision-focused learning method explicitly designed to address these three bottlenecks. Rather than depending on a task-specific forecaster that requires precise model assumptions, our method directly learns the expected optimization function during training. To efficiently learn the function in a data-driven manner, we devise an attention-based model architecture inspired by the distribution-based parameterization of the expected objective. Our method is, to the best of our knowledge, the first to address all three bottlenecks within a single model. We evaluate DF2 on a synthetic problem, a wind power bidding problem, and a non-convex vaccine distribution problem, demonstrating the effectiveness of DF2.
• Abstract（参考訳）: 近年DFL(Decision- Focus Learning)が,予測モデルを下流最適化タスクにカスタマイズすることで,予測テーマ最適化問題の強力なアプローチとして登場した。 しかし、既存のdfl法はモデルミスマッチ誤差、サンプル平均近似誤差、勾配近似誤差という3つの重大なボトルネックによって妨げられている。 モデルミスマッチ誤差は、モデルのパラメータ化予測分布と真の確率分布との相違に起因する。 サンプル平均近似誤差は、期待される最適化目標を近似するために有限サンプルを使用する場合に生じる。 勾配近似誤差は、DFLが正確な勾配計算にKKT条件に依存するのに対して、ほとんどの手法は非凸対象の後方伝播の勾配を近似する。 本稿では,これら3つのボトルネックに対処するために明示的に設計された,最初の \textit{distribution-free} 決定中心学習手法であるdf2を提案する。 正確なモデル仮定を必要とするタスク固有の予測器に依存するのではなく、トレーニング中に期待する最適化関数を直接学習する。 データ駆動方式で関数を効率的に学習するため,期待対象の分布に基づくパラメータ化に着想を得た注目モデルアーキテクチャを考案した。 私たちの手法は、私たちの知る限りでは、単一のモデル内で3つのボトルネックすべてに対処する最初の方法です。 我々は,DF2の合成問題,風力発電入札問題,非凸ワクチン配布問題についてDF2の評価を行い,DF2の有効性を実証した。

関連論文リスト

• Debiasing Mini-Batch Quadratics for Applications in Deep Learning [22.90473935350847]
  二次近似は、機械学習の手法の基本的な構成要素を形成する。 トレーニングセット全体の計算が(ディープラーニングに典型的な)難易度の高い場合、関連する量はミニバッチ上で計算される。 このバイアスは体系的な誤りを生じさせ, (ii) 理論的に説明し, (iii) 深層学習におけるラプラス近似による2次最適化と不確実性の関係を説明し, (iv) 偏見戦略の開発と評価を行う。
  論文  参考訳（メタデータ） (2024-10-18T09:37:05Z)
• Bayesian Estimation and Tuning-Free Rank Detection for Probability Mass Function Tensors [17.640500920466984]
  本稿では,関節のPMFを推定し,そのランクを観測データから自動的に推定する新しい枠組みを提案する。 我々は、様々なモデルパラメータの後方分布を近似するために、変分推論(VI)に基づく決定論的解を導出し、さらに、変分推論(SVI)を利用して、VVIベースのアプローチのスケーラブルバージョンを開発する。 合成データと実映画レコメンデーションデータの両方を含む実験は、推定精度、自動ランク検出、計算効率の点で、VVIおよびSVIベースの手法の利点を示している。
  論文  参考訳（メタデータ） (2024-10-08T20:07:49Z)
• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Adversarial Adaptive Sampling: Unify PINN and Optimal Transport for the Approximation of PDEs [2.526490864645154]
  ニューラルネットワークモデルにより与えられた近似解とトレーニングセットのランダムサンプルを同時に最適化する新しいminmax式を提案する。 鍵となる考え方は、深層生成モデルを用いてトレーニングセット内のランダムサンプルを調整し、近似されたPDE解によって誘導される残差が滑らかなプロファイルを維持することである。
  論文  参考訳（メタデータ） (2023-05-30T02:59:18Z)
• Performative Prediction with Bandit Feedback: Learning through Reparameterization [23.039885534575966]
  行動予測は、データの分布自体がモデルの展開に応じて変化する社会予測を研究するためのフレームワークである。 本研究では,実行予測目標をデータ分散関数として再パラメータ化する再パラメータ化を開発する。
  論文  参考訳（メタデータ） (2023-05-01T21:31:29Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
  本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。 提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
  論文  参考訳（メタデータ） (2020-08-19T19:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。