論文の概要: DFF: Decision-Focused Fine-tuning for Smarter Predict-then-Optimize with Limited Data

• arxiv url: http://arxiv.org/abs/2501.01874v1
• Date: Fri, 03 Jan 2025 15:46:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:11:16.576074
• Title: DFF: Decision-Focused Fine-tuning for Smarter Predict-then-Optimize with Limited Data
• Title（参考訳）: DFF: 限られたデータでよりスマートな予測を最適化するための決定に焦点を絞った微調整
• Authors: Jiaqi Yang, Enming Liang, Zicheng Su, Zhichao Zou, Peng Zhen, Jiecheng Guo, Wanjing Ma, Kun An,
• Abstract要約: 意思決定中心学習(DFL)は、予測モデルを直接判断損失(DL)に基づいて訓練することにより、予測テーマ最適化(PO)フレームワークへのエンドツーエンドアプローチを提供する。 いくつかの予測モデルは微分不可能またはブラックボックスであり、勾配法では調整できない。 本稿では,DFLモジュールを新しいバイアス補正モジュールを介してPOパイプラインに埋め込む,DFF(Decision-Focused Fine-tuning)という新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.70699448711673
• License:
• Abstract: Decision-focused learning (DFL) offers an end-to-end approach to the predict-then-optimize (PO) framework by training predictive models directly on decision loss (DL), enhancing decision-making performance within PO contexts. However, the implementation of DFL poses distinct challenges. Primarily, DL can result in deviation from the physical significance of the predictions under limited data. Additionally, some predictive models are non-differentiable or black-box, which cannot be adjusted using gradient-based methods. To tackle the above challenges, we propose a novel framework, Decision-Focused Fine-tuning (DFF), which embeds the DFL module into the PO pipeline via a novel bias correction module. DFF is formulated as a constrained optimization problem that maintains the proximity of the DL-enhanced model to the original predictive model within a defined trust region. We theoretically prove that DFF strictly confines prediction bias within a predetermined upper bound, even with limited datasets, thereby substantially reducing prediction shifts caused by DL under limited data. Furthermore, the bias correction module can be integrated into diverse predictive models, enhancing adaptability to a broad range of PO tasks. Extensive evaluations on synthetic and real-world datasets, including network flow, portfolio optimization, and resource allocation problems with different predictive models, demonstrate that DFF not only improves decision performance but also adheres to fine-tuning constraints, showcasing robust adaptability across various scenarios.
• Abstract（参考訳）: 決定中心学習(DFL)は、予測モデルを直接DL(Decision Loss)に基づいてトレーニングし、POコンテキスト内での意思決定性能を向上させることによって、予測テーマ最適化(PO)フレームワークへのエンドツーエンドアプローチを提供する。 しかし、DFLの実装は異なる課題を生んでいる。 主に、DLは限られたデータの下での予測の物理的重要性から逸脱する可能性がある。 さらに、いくつかの予測モデルは微分不可能またはブラックボックスであり、勾配法では調整できない。 上記の課題に対処するために,DFLモジュールを新しいバイアス補正モジュールを介してPOパイプラインに埋め込む,DFF(Decision-Focused Fine-tuning)という新しいフレームワークを提案する。 DFFは、定義された信頼領域内の元の予測モデルへのDL拡張モデルの近接性を維持する制約付き最適化問題として定式化される。 理論的には、DFFは、限られたデータセットであっても、所定の上限内で予測バイアスを厳密に制限し、限られたデータの下でのDLによる予測シフトを著しく低減する。 さらに、バイアス補正モジュールは様々な予測モデルに統合することができ、幅広いPOタスクへの適応性を向上させることができる。 ネットワークフロー、ポートフォリオ最適化、さまざまな予測モデルによるリソース割り当て問題を含む、合成および現実世界のデータセットに対する広範な評価は、DFFが決定性能を向上するだけでなく、微調整の制約にも準拠し、さまざまなシナリオにわたって堅牢な適応性を示すことを実証している。

関連論文リスト

• Gen-DFL: Decision-Focused Generative Learning for Robust Decision Making [48.62706690668867]
  意思決定型生成学習(Gen-DFL)は、生成モデルを利用して不確実性を適応的にモデル化し、意思決定品質を向上させる新しいフレームワークである。 本論文は,Gen-DFLが従来のDFLと比較して,最悪の性能バウンダリを改善できることを理論的に示す。
  論文  参考訳（メタデータ） (2025-02-08T06:52:11Z)
• Self-Evolutionary Large Language Models through Uncertainty-Enhanced Preference Optimization [9.618391485742968]
  反復的選好最適化は、最近、大規模言語モデル(LLM)のデファクトトレーニングパラダイムの1つになっている。 我々は、信頼性の高いフィードバックでLLMを自己進化させる不確実性のあるtextbfPreference textbfOptimizationフレームワークを提案する。 筆者らのフレームワークは,ノイズ問題を大幅に軽減し,反復的選好最適化の性能を向上させる。
  論文  参考訳（メタデータ） (2024-09-17T14:05:58Z)
• On the Robustness of Decision-Focused Learning [0.0]
  決定焦点学習(Decision-Focused Learning, DFL)は、機械学習(ML)モデルを訓練し、不完全な最適化問題の欠落パラメータを予測するための新興学習パラダイムである。 DFLは、予測と最適化タスクを統合することで、エンドツーエンドシステムでMLモデルをトレーニングし、トレーニングとテストの目的の整合性を向上させる。
  論文  参考訳（メタデータ） (2023-11-28T04:34:04Z)
• ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning [95.64041188351393]
  本稿では,限られた資源とパーソナライゼーションの両課題を解決しようと試みる。 個人化フェデレート学習におけるゼロ階最適化を用いたZOOPFLという手法を提案する。 計算コストの削減とパーソナライゼーションの向上を目的として,低次元およびクライアント固有の埋め込みを持つオートエンコーダを組み込む入力手術を提案する。
  論文  参考訳（メタデータ） (2023-10-08T12:26:13Z)
• Statistical Rejection Sampling Improves Preference Optimization [42.57245965632205]
  提案手法は,リジェクションサンプリングを用いた最適ポリシーからのソース選好データに対する新しいアプローチを提案する。 また、嗜好モデルの観点から、SLiC(Sequence Likelihood)とDPO(Direct Preference Optimization)の両方で使用される損失関数を強化する統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-13T01:07:25Z)
• DF2: Distribution-Free Decision-Focused Learning [53.2476224456902]
  決定中心学習(DFL)は近年,予測最適化問題に対する強力なアプローチとして出現している。 既存のエンドツーエンドDFL法は、モデル誤差、サンプル平均近似誤差、予測対象の分布に基づくパラメータ化の3つの重大なボトルネックによって妨げられている。 DF2は,これら3つのボトルネックに明示的に対処するために設計された,初となるテキストフリーな意思決定型学習手法である。
  論文  参考訳（メタデータ） (2023-08-11T00:44:46Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
  ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。 本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
  論文  参考訳（メタデータ） (2022-08-16T08:03:30Z)
• Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
  本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。 提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
  論文  参考訳（メタデータ） (2022-03-09T01:55:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。