論文の概要: Learning Best-in-Class Policies for the Predict-then-Optimize Framework

• arxiv url: http://arxiv.org/abs/2402.03256v2
• Date: Fri, 9 Feb 2024 00:06:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 19:30:31.500013
• Title: Learning Best-in-Class Policies for the Predict-then-Optimize Framework
• Title（参考訳）: 予測列最適化フレームワークのためのクラス内ベストポリシーの学習
• Authors: Michael Huang, Vishal Gupta
• Abstract要約: そこで我々は,予測最適化フレームワークとして,摂動勾配損失(PG損失)と呼ばれる,決定を意識した新たなサロゲート損失のファミリーを提案する。 既存のサロゲート損失とは異なり、PG損失の近似誤差はサンプル数が増加するにつれて消失する。 これは、サロゲート損失の最適化が、不特定設定であっても、クラス内で最良のポリシーをもたらすことを意味する。
• 参考スコア（独自算出の注目度）: 1.4605369555213963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel family of decision-aware surrogate losses, called Perturbation Gradient (PG) losses, for the predict-then-optimize framework. These losses directly approximate the downstream decision loss and can be optimized using off-the-shelf gradient-based methods. Importantly, unlike existing surrogate losses, the approximation error of our PG losses vanishes as the number of samples grows. This implies that optimizing our surrogate loss yields a best-in-class policy asymptotically, even in misspecified settings. This is the first such result in misspecified settings and we provide numerical evidence confirming our PG losses substantively outperform existing proposals when the underlying model is misspecified and the noise is not centrally symmetric. Insofar as misspecification is commonplace in practice -- especially when we might prefer a simpler, more interpretable model -- PG losses offer a novel, theoretically justified, method for computationally tractable decision-aware learning.
• Abstract（参考訳）: 本研究では,予測最適化の枠組みにおいて,摂動勾配(pg)損失と呼ばれる,新たな決定認識型サーロゲート損失のファミリーを提案する。 これらの損失は下流の決定損失を直接近似し、オフザシェルフ勾配法を用いて最適化することができる。 重要なことに、既存のサーロゲート損失とは異なり、サンプル数が増えるにつれてpg損失の近似誤差は失われる。 これは、サロゲート損失を最適化することで、不特定設定であっても、クラス内で最高のポリシーが漸近的に得られます。 提案手法は,提案モデルが不特定であり,ノイズが中心対称でない場合に,PG損失が既存の提案よりも即時上回っていることを示す数値的証拠を提供する。 特に、よりシンプルで解釈可能なモデルを好む場合、PG損失は、計算的に抽出可能な決定認識学習のための、理論上正当化された新しい方法を提供する。

関連論文リスト

• Smart Predict-then-Optimize Method with Dependent Data: Risk Bounds and Calibration of Autoregression [7.369846475695131]
  本稿では,決定段階における最適化問題を直接対象とする自己回帰型SPO手法を提案する。 我々は, 絶対損失と最小二乗損失と比較して, SPO+サロゲートの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-11-19T17:02:04Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
  我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。 ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。 我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
  論文  参考訳（メタデータ） (2024-10-26T14:24:37Z)
• LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
  敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。 我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-12T17:08:31Z)
• Inference with non-differentiable surrogate loss in a general high-dimensional classification framework [4.792322531593389]
  仮説テストと区間推定を構築するために,カーネルスムーズな非相関スコアを提案する。 具体的には、不連続点近傍の不連続勾配を滑らかにするためにカーネル近似を採用する。 カーネルスムースなデコラートスコアとそのクロスフィットバージョンを高次元設定で限定分布として確立する。
  論文  参考訳（メタデータ） (2024-05-20T01:50:35Z)
• Reducing Predictive Feature Suppression in Resource-Constrained Contrastive Image-Caption Retrieval [65.33981533521207]
  我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD) LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。 実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
  論文  参考訳（メタデータ） (2022-04-28T09:55:28Z)
• The Devil is in the Margin: Margin-based Label Smoothing for Network Calibration [21.63888208442176]
  ディープニューラルネットワークの優位な性能にもかかわらず、最近の研究では、それらが十分に校正されていないことが示されている。 現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2021-11-30T14:21:47Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
  我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。 本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
  論文  参考訳（メタデータ） (2021-06-28T00:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。