論文の概要: Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization
- arxiv url: http://arxiv.org/abs/2506.04948v1
- Date: Thu, 05 Jun 2025 12:21:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-06 21:53:49.691776
- Title: Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization
- Title（参考訳）: ワッサーシュタイン分布ロバスト最適化のための確率勾配法の非正規化極限
- Authors: Tam Le,
- Abstract要約: 分散ロバストな最適化は、機械学習におけるモデル適合のための魅力的なフレームワークを提供する。
本研究では, エントロピーな平滑化が元の目的のサンプリングに基づく近似を導出する正規化問題について検討する。
- 参考スコア（独自算出の注目度）: 8.784017987697688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributionally robust optimization offers a compelling framework for model fitting in machine learning, as it systematically accounts for data uncertainty. Focusing on Wasserstein distributionally robust optimization, we investigate the regularized problem where entropic smoothing yields a sampling-based approximation of the original objective. We establish the convergence of the approximate gradient over a compact set, leading to the concentration of the regularized problem critical points onto the original problem critical set as regularization diminishes and the number of approximation samples increases. Finally, we deduce convergence guarantees for a projected stochastic gradient method. Our analysis covers a general machine learning situation with an unbounded sample space and mixed continuous-discrete data.
- Abstract（参考訳）: 分散ロバストな最適化は、機械学習におけるモデル適合のための魅力的なフレームワークを提供する。
分布的ロバストな最適化に着目し,エントロピーな平滑化が元の目的をサンプリングベースで近似する正規化問題について検討する。
我々は、コンパクトな集合上の近似勾配の収束を確立し、正規化が減少し近似サンプルの数が増加するにつれて、正規化問題臨界点が元の問題臨界点へ集中する。
最後に、射影確率勾配法に対する収束保証を導出する。
本分析では,非有界なサンプル空間と混合連続離散データを用いて,一般的な機械学習状況について考察する。
関連論文リスト
- An Inexact Halpern Iteration with Application to Distributionally Robust Optimization [8.722877733571796]
不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。
本稿では,データ駆動型分散ロバスト最適化の2つのクラスを解くために,提案手法をいかに適用できるかを示す。
論文 参考訳（メタデータ） (2024-02-08T20:12:47Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳（メタデータ） (2023-06-20T15:07:37Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。
2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文 参考訳（メタデータ） (2021-06-29T09:48:46Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳（メタデータ） (2020-06-11T19:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。