論文の概要: An Inexact Halpern Iteration with Application to Distributionally Robust Optimization

• arxiv url: http://arxiv.org/abs/2402.06033v3
• Date: Tue, 27 May 2025 01:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:57.958991
• Title: An Inexact Halpern Iteration with Application to Distributionally Robust Optimization
• Title（参考訳）: 分布ロバスト最適化への不正確なハルパーン反復法の適用
• Authors: Ling Liang, Zusen Xu, Kim-Chuan Toh, Jia-Jie Zhu,
• Abstract要約: 不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。 本稿では,データ駆動型分散ロバスト最適化の2つのクラスを解くために,提案手法をいかに適用できるかを示す。
• 参考スコア（独自算出の注目度）: 8.722877733571796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Halpern iteration for solving monotone inclusion problems has gained increasing interests in recent years due to its simple form and appealing convergence properties. In this paper, we investigate the inexact variants of the scheme in both deterministic and stochastic settings. We conduct extensive convergence analysis and show that by choosing the inexactness tolerances appropriately, the inexact schemes admit an $O(k^{-1})$ convergence rate in terms of the (expected) residue norm. Our results relax the state-of-the-art inexactness conditions employed in the literature while sharing the same competitive convergence properties. We then demonstrate how the proposed methods can be applied for solving two classes of data-driven Wasserstein distributionally robust optimization problems that admit convex-concave min-max optimization reformulations. We highlight its capability of performing inexact computations for distributionally robust learning with stochastic first-order methods and for general nonlinear convex-concave loss functions, which are competitive in the literature.
• Abstract（参考訳）: 単調包含問題を解くためのハルパーン反復は、その単純な形式と魅力的な収束特性のために近年、関心が高まりつつある。 本稿では,決定論的および確率的設定におけるスキームの不正確な変種について検討する。 我々は、広範囲な収束解析を行い、不コンパクト性許容度を適切に選択することにより、(予想された)剰余ノルムの項で$O(k^{-1})$収束率を許容する不コンパクトスキームが成立することを示す。 本研究の結果は,同種の競合収束特性を共有しつつ,文献で用いられる最先端不連続条件を緩和するものである。 次に,データ駆動型ワッサーシュタインの分散的ロバストな最適化問題の2つのクラスを解くために,提案手法をいかに適用できるかを実証する。 本稿では,確率的一階述語法と一般非線形凸・凹凸損失関数を用いた分散ロバストな学習のための不正確な計算を行う能力について述べる。

関連論文リスト

• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
  分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。 我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。 ほぼ1つの定常収束点も勾配条件の下で成立する。
  論文  参考訳（メタデータ） (2023-01-30T05:48:09Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Variance-Reduced Splitting Schemes for Monotone Stochastic Generalized Equations [0.0]
  演算子を期待値とする単調な包摂問題を考える。 分割スキームの直接適用は、各ステップにおける期待値マップによる問題解決の必要性により複雑である。 本稿では,不確実性に対処する手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T02:33:27Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。