論文の概要: Nested Stochastic Gradient Descent for (Generalized) Sinkhorn Distance-Regularized Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2503.22923v1
• Date: Sat, 29 Mar 2025 01:01:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:37:34.995517
• Title: Nested Stochastic Gradient Descent for (Generalized) Sinkhorn Distance-Regularized Distributionally Robust Optimization
• Title（参考訳）: 一般化した)シンクホーン距離分布分布ロバスト最適化のためのネスト確率勾配勾配
• Authors: Yufeng Yang, Yi Zhou, Zhaosong Lu,
• Abstract要約: 分散ロバストシフト最適化(DRO)は、データ分散に対するロバストモデルのための強力な手法である。 本稿では、一般化近似関数によって不確実性をモデル化した正規化非DRO問題の解決を目的とする。
• 参考スコア（独自算出の注目度）: 4.989068568135242
• License:
• Abstract: Distributionally robust optimization (DRO) is a powerful technique to train robust models against data distribution shift. This paper aims to solve regularized nonconvex DRO problems, where the uncertainty set is modeled by a so-called generalized Sinkhorn distance and the loss function is nonconvex and possibly unbounded. Such a distance allows to model uncertainty of distributions with different probability supports and divergence functions. For this class of regularized DRO problems, we derive a novel dual formulation taking the form of nested stochastic programming, where the dual variable depends on the data sample. To solve the dual problem, we provide theoretical evidence to design a nested stochastic gradient descent (SGD) algorithm, which leverages stochastic approximation to estimate the nested stochastic gradients. We study the convergence rate of nested SGD and establish polynomial iteration and sample complexities that are independent of the data size and parameter dimension, indicating its potential for solving large-scale DRO problems. We conduct numerical experiments to demonstrate the efficiency and robustness of the proposed algorithm.
• Abstract（参考訳）: 分散ロバスト最適化(DRO)は、データ分散シフトに対してロバストモデルをトレーニングする強力な手法である。 本稿では,不確実性集合を一般化されたシンクホーン距離でモデル化し,損失関数が非凸かつ非有界であるような正規化非凸DRO問題を解くことを目的とする。 このような距離は確率支援と発散関数が異なる分布の不確かさをモデル化することができる。 このような正規化DRO問題に対して、双対変数がデータサンプルに依存する入れ子確率計画法という新しい双対定式化を導出する。 この2つの問題を解くために,確率近似を利用してネスト確率勾配を推定するネスト確率勾配勾配勾配(SGD)アルゴリズムを設計するための理論的証拠を提供する。 ネストしたSGDの収束率について検討し,データサイズとパラメータ次元に依存しない多項式反復とサンプル複素量を確立し,大規模DRO問題の解法の可能性を示す。 提案アルゴリズムの効率性とロバスト性を示す数値実験を行った。

関連論文リスト

• Distributionally Robust Optimization via Iterative Algorithms in Continuous Probability Spaces [6.992239210938067]
  最短ケースの分布が連続している場合、分布的ロバストな最適化(DRO)によって動機付けられたミニマックス問題を考える。 最近の研究では、ニューラルネットワークに基づく生成ネットワークを用いた最悪のケース分布の学習について検討されている。 本稿では,そのようなミニマックス問題を解くための反復アルゴリズムを提案することによって,この理論的課題を橋渡しする。
  論文  参考訳（メタデータ） (2024-12-29T19:31:23Z)
• Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
  機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。 非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
  論文  参考訳（メタデータ） (2024-08-20T19:06:02Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Stochastic Constrained DRO with a Complexity Independent of Sample Size [38.56406595022129]
  クルバック分散制約DRO問題の解法として,非凸損失と凸損失の両方に適用可能なアルゴリズムを提案し,解析する。 非損失に対する$$$ilon定常解を見つけるのにほぼ最適な複雑さを確立し、広いアプリケーションに最適な解を求めるのに最適なバッチの複雑さを確立します。
  論文  参考訳（メタデータ） (2022-10-11T19:11:19Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Sinkhorn Distributionally Robust Optimization [18.46110328123008]
  シンクホーン距離はエントロピー正則化に基づくワッサーシュタイン距離の変種である。 一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。
  論文  参考訳（メタデータ） (2021-09-24T12:40:48Z)
• Distributionally Robust Optimization with Markovian Data [8.126833795693699]
  本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。 本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
  論文  参考訳（メタデータ） (2021-06-12T10:59:02Z)
• Bayesian multiscale deep generative model for the solution of high-dimensional inverse problems [0.0]
  深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。 この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
  論文  参考訳（メタデータ） (2021-02-04T11:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。