論文の概要: Minimizing Surrogate Losses for Decision-Focused Learning using Differentiable Optimization

• arxiv url: http://arxiv.org/abs/2508.11365v1
• Date: Fri, 15 Aug 2025 09:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.846171
• Title: Minimizing Surrogate Losses for Decision-Focused Learning using Differentiable Optimization
• Title（参考訳）: 微分最適化を用いた決定焦点学習におけるサロゲート損失の最小化
• Authors: Jayanta Mandi, Ali İrfan Mahmutoğulları, Senne Berden, Tias Guns,
• Abstract要約: 決定中心学習(DFL)は、最適化問題のパラメータを予測するために機械学習(ML)モデルを訓練する。 勾配に基づくDFLは、予測されたパラメータに対する最適化問題に対する解の微分を計算する必要がある。 線形プログラム(LP)のような多くの最適化問題に対して、予測されたパラメータに対する後悔の勾配はほぼどこでもゼロである。
• 参考スコア（独自算出の注目度）: 8.012103768733207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision-focused learning (DFL) trains a machine learning (ML) model to predict parameters of an optimization problem, to directly minimize decision regret, i.e., maximize decision quality. Gradient-based DFL requires computing the derivative of the solution to the optimization problem with respect to the predicted parameters. However, for many optimization problems, such as linear programs (LPs), the gradient of the regret with respect to the predicted parameters is zero almost everywhere. Existing gradient-based DFL approaches for LPs try to circumvent this issue in one of two ways: (a) smoothing the LP into a differentiable optimization problem by adding a quadratic regularizer and then minimizing the regret directly or (b) minimizing surrogate losses that have informative (sub)gradients. In this paper, we show that the former approach still results in zero gradients, because even after smoothing the regret remains constant across large regions of the parameter space. To address this, we propose minimizing surrogate losses -- even when a differentiable optimization layer is used and regret can be minimized directly. Our experiments demonstrate that minimizing surrogate losses allows differentiable optimization layers to achieve regret comparable to or better than surrogate-loss based DFL methods. Further, we demonstrate that this also holds for DYS-Net, a recently proposed differentiable optimization technique for LPs, that computes approximate solutions and gradients through operations that can be performed using feedforward neural network layers. Because DYS-Net executes the forward and the backward pass very efficiently, by minimizing surrogate losses using DYS-Net, we are able to attain regret on par with the state-of-the-art while reducing training time by a significant margin.
• Abstract（参考訳）: 決定中心学習(DFL)は、機械学習(ML)モデルを訓練し、最適化問題のパラメータを予測する。 勾配に基づくDFLは、予測されたパラメータに対する最適化問題に対する解の微分を計算する必要がある。 しかし、線形プログラム(LP)のような多くの最適化問題に対して、予測されたパラメータに対する後悔の勾配はほとんどどこでもゼロである。 LPに対する既存の勾配に基づくDFLアプローチは、この問題を2つの方法の1つに回避しようとする。 (a) 2次正則化子を加えてLPを微分可能な最適化問題に滑らかにし、直接後悔を最小化する b) 情報的(従属的な)段階を有する代理損失を最小限にすること。 本稿では, パラメータ空間の広い領域において, 後悔を滑らかにした後でも, 後悔は一定であり続けるため, 前者のアプローチは依然としてゼロ勾配となることを示す。 この問題に対処するために、我々は代理損失を最小限に抑えることを提案する -- 微分可能な最適化層を使用し、後悔を直接最小化できる場合であっても。 本実験は,サロゲート損失の最小化により,サロゲートロスに基づくDFL法に匹敵する残差を達成できることを示す。 さらに、最近提案されたLPの微分可能最適化手法であるDYS-Netについても、フィードフォワードニューラルネットワーク層を用いて実行可能な演算により、近似解と勾配を計算することが実証された。 DYS-Netは、DYS-Netによるサロゲート損失を最小限に抑え、フォワードとバックパスを極めて効率的に実行するので、トレーニング時間を大幅に短縮しつつ、最先端技術と同等に後悔できる。

関連論文リスト

• Solver-Free Decision-Focused Learning for Linear Optimization Problems [6.305123652677644]
  多くの実世界のシナリオでは、最適化問題のパラメータは事前に知られておらず、文脈的特徴から予測されなければならない。 機械学習モデルは、最適化によって決定される問題パラメータを予測する。 本稿では, 線形最適化の幾何学的構造を利用して, 解の質を最小限に抑え, 効率的な学習を可能にする手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T10:55:16Z)
• AYLA: Amplifying Gradient Sensitivity via Loss Transformation in Non-Convex Optimization [0.0]
  Gradient Descent (SGD)とその変種(ADAMなど)はディープラーニングの最適化の基礎となっている。 本稿では、動的トレーニングを強化する新しいフレームワークであるAYLAを紹介する。
  論文  参考訳（メタデータ） (2025-04-02T16:31:39Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  線形最小化オラクル(LMO)を用いて問題の幾何学に適応する新しいアルゴリズム群を提案する。 我々は,Adamに頼らずに,我々のアルゴリズムであるScionを用いたナノGPTトレーニングの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Gradient-free neural topology optimization [0.0]
  勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。 これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。 我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T23:00:49Z)
• Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning [17.962860438133312]
  決定中心学習(DFL)パラダイムは、例えば後悔など、タスク損失を直接最小化するためのトレーニングによって制限を克服する。 そこで我々は,このような仮定をせずに,任意のタスク損失に作用するスコア関数推定とスムースに組み合わせた代替手法を提案する。 実験の結果、一般的に多くのエポックを必要とするが、専門的な手法と同等であり、特にソリューションの品質、スケーラビリティ、あるいはその両方の観点から、制約の不確実性に悩む問題に対して、特にうまく機能していることが示されている。
  論文  参考訳（メタデータ） (2023-07-11T12:32:13Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。