論文の概要: Sinkhorn Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2109.11926v4
• Date: Sun, 4 Jun 2023 02:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-06-07 06:01:34.614455
• Title: Sinkhorn Distributionally Robust Optimization
• Title（参考訳）: シンクホーン分布ロバスト最適化
• Authors: Jie Wang, Rui Gao, Yao Xie
• Abstract要約: 一般名詞分布,輸送コスト,損失関数に対する凸プログラミング二重再構成を導出する。 Wasserstein DROと比較して,提案手法はより広範な損失関数のクラスに対して,計算的トラクタビリティの向上を提供する。
• 参考スコア（独自算出の注目度）: 15.194516549163245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We derive convex programming dual reformulation for general nominal distributions, transport costs, and loss functions. Compared with Wasserstein DRO, our proposed approach offers enhanced computational tractability for a broader class of loss functions, and the worst-case distribution exhibits greater plausibility in practical scenarios. To solve the dual reformulation, we develop a stochastic mirror descent algorithm with biased gradient oracles. Remarkably, this algorithm achieves near-optimal sample complexity for both smooth and nonsmooth loss functions, nearly matching the sample complexity of the Empirical Risk Minimization counterpart. Finally, we provide numerical examples using synthetic and real data to demonstrate its superior performance.
• Abstract（参考訳）: エントロピー正則化に基づくワッサーシュタイン距離の変種であるシンクホーン距離を持つ分布ロバスト最適化(DRO)について検討する。 一般名目分布, 輸送コスト, 損失関数に対する凸計画の双対再構成を導出する。 wasserstein droと比較すると,提案手法は幅広い損失関数に対する計算容量性を高め,最悪の場合分布は実用シナリオにおいて高い可能性を示す。 二重再構成を解くため,偏りの偏りを持つ確率的ミラー降下アルゴリズムを開発した。 驚くべきことに、このアルゴリズムはスムース損失関数と非スムース損失関数の両方の最適化されたサンプル複雑性を達成し、経験的リスク最小化関数のサンプル複雑性とほぼ一致する。 最後に,合成データと実データを用いて,その優れた性能を示す数値例を示す。

関連論文リスト

• Nested Stochastic Gradient Descent for (Generalized) Sinkhorn Distance-Regularized Distributionally Robust Optimization [4.989068568135242]
  分散ロバストシフト最適化(DRO)は、データ分散に対するロバストモデルのための強力な手法である。 本稿では、一般化近似関数によって不確実性をモデル化した正規化非DRO問題の解決を目的とする。
  論文  参考訳（メタデータ） (2025-03-29T01:01:02Z)
• Direct Distributional Optimization for Provable Alignment of Diffusion Models [39.048284342436666]
  分布最適化の観点から拡散モデルの新しいアライメント手法を提案する。 まず、確率分布に対する一般正規化損失最小化として問題を定式化する。 本研究では,Doob の $h$-transform 技術を用いてスコア関数を近似することにより,学習した分布からのサンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-02-05T07:35:15Z)
• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [10.564071872770146]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 最適パラメトリック解を特徴付ける。 歪みと知覚制約について十分な条件を提供する。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• A Primal-Dual Algorithm for Faster Distributionally Robust Optimization [12.311794669976047]
  本稿では,Dragoについて述べる。Dragoは,DRO問題に対して,最先端の線形収束率を実現するアルゴリズムである。 分類と回帰の数値的なベンチマークで理論的結果を支持する。
  論文  参考訳（メタデータ） (2024-03-16T02:06:14Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
  楽観的勾配法はミニマックス最適化問題に対処するのに有用である。 従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
  論文  参考訳（メタデータ） (2024-01-26T01:16:59Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Smoothed $f$-Divergence Distributionally Robust Optimization [5.50764401597583]
  我々は、特別な種類の分布完全ロバスト最適化(DRO)の定式化が理論的優位性をもたらすと論じる。 DROは、Wasserstein または L'evy-Prokhorov (LP) 距離で滑らかなKullback Leibler (KL) の発散に基づく曖昧性集合を用いる。
  論文  参考訳（メタデータ） (2023-06-24T19:22:01Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Stochastic Constrained DRO with a Complexity Independent of Sample Size [38.56406595022129]
  クルバック分散制約DRO問題の解法として,非凸損失と凸損失の両方に適用可能なアルゴリズムを提案し,解析する。 非損失に対する$$$ilon定常解を見つけるのにほぼ最適な複雑さを確立し、広いアプリケーションに最適な解を求めるのに最適なバッチの複雑さを確立します。
  論文  参考訳（メタデータ） (2022-10-11T19:11:19Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Optimal transport with $f$-divergence regularization and generalized Sinkhorn algorithm [0.0]
  エントロピー正則化は、元の最適輸送問題を一般化する。 Kullback-Leibler の発散を一般の$f$-divergence に置き換えると、自然な一般化につながる。 本稿では,正規化された最適輸送コストとその勾配を計算するための実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-29T16:37:31Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Efficient constrained sampling via the mirror-Langevin algorithm [9.061408029414455]
  本稿では,ミラー・ランジュバン拡散の新しい離散化を提案し,その収束のクリップな証明を与える。 コンパクトな集合に支持された対数凹分布からサンプリングする作業において,我々の理論的結果は既存の保証よりもはるかに優れている。
  論文  参考訳（メタデータ） (2020-10-30T11:54:24Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。