論文の概要: Differentiable Distributionally Robust Optimization Layers

• arxiv url: http://arxiv.org/abs/2406.16571v1
• Date: Mon, 24 Jun 2024 12:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 14:54:27.359856
• Title: Differentiable Distributionally Robust Optimization Layers
• Title（参考訳）: 微分分布ロバスト最適化層
• Authors: Xutao Ma, Chao Ning, Wenli Du,
• Abstract要約: パラメータ化二階円錐曖昧性集合を用いた混合整数DRO問題に対する微分可能なDRO層を開発する。 本稿では,決定の連続的な部分と離散的な部分を異なる原理で扱うことによって,新しい双対ビュー手法を提案する。 具体的には、双対ビュー手法を実装し、その勾配を推定するために重要サンプリングを利用するために、微分可能エネルギーベースサロゲートを構築した。
• 参考スコア（独自算出の注目度）: 10.667165962654996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been a growing research interest in decision-focused learning, which embeds optimization problems as a layer in learning pipelines and demonstrates a superior performance than the prediction-focused approach. However, for distributionally robust optimization (DRO), a popular paradigm for decision-making under uncertainty, it is still unknown how to embed it as a layer, i.e., how to differentiate decisions with respect to an ambiguity set. In this paper, we develop such differentiable DRO layers for generic mixed-integer DRO problems with parameterized second-order conic ambiguity sets and discuss its extension to Wasserstein ambiguity sets. To differentiate the mixed-integer decisions, we propose a novel dual-view methodology by handling continuous and discrete parts of decisions via different principles. Specifically, we construct a differentiable energy-based surrogate to implement the dual-view methodology and use importance sampling to estimate its gradient. We further prove that such a surrogate enjoys the asymptotic convergency under regularization. As an application of the proposed differentiable DRO layers, we develop a novel decision-focused learning pipeline for contextual distributionally robust decision-making tasks and compare it with the prediction-focused approach in experiments.
• Abstract（参考訳）: 近年,パイプラインの学習層として最適化問題を埋め込んで,予測重視のアプローチよりも優れたパフォーマンスを示す,意思決定中心の学習への関心が高まっている。 しかし、不確実性の下で意思決定を行うための一般的なパラダイムである分散ロバスト最適化(DRO)では、それを層としてどのように埋め込むか、すなわち曖昧性集合に対してどのように決定を区別するかは未だ分かっていない。 本稿では、パラメータ化二階円錐曖昧性集合を用いた一般混合整数DRO問題に対するそのような微分可能なDRO層を開発し、ワッサーシュタイン曖昧性集合への拡張について議論する。 混合整数決定を区別するために、異なる原理を用いて連続的および離散的な決定を処理し、新しい双対ビュー手法を提案する。 具体的には、双対ビュー手法を実装し、その勾配を推定するために重要サンプリングを利用するために、微分可能エネルギーベースサロゲートを構築した。 さらに、そのような代理が正規化の下で漸近収束を楽しむことを証明する。 提案した微分可能DRO層の適用として,文脈的分布的ロバストな意思決定タスクのための新たな意思決定型学習パイプラインを開発し,実験における予測型アプローチと比較する。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• Sequential three-way group decision-making for double hierarchy hesitant fuzzy linguistic term set [8.081831444300489]
  複雑性と不確実性を特徴とするグループ意思決定(GDM)は、様々な生活シナリオにおいて不可欠な部分である。 この問題に対処するため,グループ意思決定法(S3W-GDM)の多段階連続3方向決定法をグラニュラーコンピューティングの観点から構築した。
  論文  参考訳（メタデータ） (2024-06-27T04:33:26Z)
• Differentiation of Multi-objective Data-driven Decision Pipeline [34.577809430781144]
  実世界のシナリオは、しばしば多目的データ駆動最適化問題を含む。 従来の2段階の手法では、機械学習モデルを用いて問題係数を推定し、続いて予測された最適化問題に取り組むためにソルバを呼び出す。 近年の取り組みは、下流最適化問題から導かれる意思決定損失を用いた予測モデルのエンドツーエンドトレーニングに重点を置いている。
  論文  参考訳（メタデータ） (2024-06-02T15:42:03Z)
• A primal-dual perspective for distributed TD-learning [7.871657629581001]
  本研究の目的は,ネットワーク型マルチエージェントマルコフ決定プロセスにおける分散時間差(TD)学習について検討することである。 提案手法は分散最適化アルゴリズムに基づいており、これはヌル空間制約を受ける原始双対常微分方程式(ODE)の力学として解釈できる。
  論文  参考訳（メタデータ） (2023-10-01T10:38:46Z)
• Efficient Alternating Minimization Solvers for Wyner Multi-View Unsupervised Learning [0.0]
  本稿では,計算効率のよい解法の開発を可能にする2つの新しい定式化法を提案する。 提案した解法は, 計算効率, 理論的収束保証, ビュー数による局所最小値複雑性, 最先端技術と比較して, 例外的な精度を提供する。
  論文  参考訳（メタデータ） (2023-03-28T10:17:51Z)
• Sharp Variance-Dependent Bounds in Reinforcement Learning: Best of Both Worlds in Stochastic and Deterministic Environments [48.96971760679639]
  マルコフ決定過程(MDP)の分散依存的後悔境界について検討する。 環境の微細な分散特性を特徴付けるための2つの新しい環境規範を提案する。 モデルに基づく手法では、MVPアルゴリズムの変種を設計する。 特に、この境界は極小かつ決定論的 MDP に対して同時に最適である。
  論文  参考訳（メタデータ） (2023-01-31T06:54:06Z)
• When AUC meets DRO: Optimizing Partial AUC for Deep Learning with Non-Convex Convergence Guarantee [51.527543027813344]
  単方向および二方向部分AUC(pAUC)の系統的および効率的な勾配法を提案する。 一方通行と一方通行の pAUC に対して,2つのアルゴリズムを提案し,それぞれ2つの定式化を最適化するための収束性を証明した。
  論文  参考訳（メタデータ） (2022-03-01T01:59:53Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。