論文の概要: RAMPAGE: RAndomized Mid-Point for debiAsed Gradient Extrapolation

• arxiv url: http://arxiv.org/abs/2603.22155v1
• Date: Mon, 23 Mar 2026 16:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.779876
• Title: RAMPAGE: RAndomized Mid-Point for debiAsed Gradient Extrapolation
• Title（参考訳）: RAMPAGE: 切り離されたグラディエント外挿のためのRandomized Mid-Point
• Authors: Abolfazl Hashemi,
• Abstract要約: Extragradient (EG) は、非線形分野、保守的分野、その他の分野に適用した場合、離散化バイアスに悩まされることがある。 本稿では,RAMPAGE(debiAsed Gradient Extrapolation)のためのRAndomized Mid-Pointとその分散還元RAM+について紹介する。
• 参考スコア（独自算出の注目度）: 10.213412445129089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A celebrated method for Variational Inequalities (VIs) is Extragradient (EG), which can be viewed as a standard discrete-time integration scheme. With this view in mind, in this paper we show that EG may suffer from discretization bias when applied to non-linear vector fields, conservative or otherwise. To resolve this discretization shortcoming, we introduce RAndomized Mid-Point for debiAsed Gradient Extrapolation (RAMPAGE) and its variance-reduced counterpart, RAMPAGE+ which leverages antithetic sampling. In contrast with EG, both methods are unbiased. Furthermore, leveraging negative correlation, RAMPAGE+ acts as an unbiased, geometric path-integrator that completely removes internal first-order terms from the variance, provably improving upon RAMPAGE. We further demonstrate that both methods enjoy provable $\mathcal{O}(1/k)$ convergence guarantees for a range of problems including root finding under co-coercive, co-hypomonotone, and generalized Lipschitzness regimes. Furthermore, we introduce symmetrically scaled variants to extend our results to constrained VIs. Finally, we provide convergence guarantees of both methods for stochastic and deterministic smooth convex-concave games. Somewhat interestingly, despite being a randomized method, RAMPAGE+ attains purely deterministic bounds for a number of the studied settings.
• Abstract（参考訳）: 変分不等式 (VIs) の有名な方法は、標準離散時間積分スキームとみなすことができる外部分解性 (EG) である。 この観点から,非線型ベクトル場に適用した場合,EGは離散化バイアスに悩まされる可能性があることを示す。 この離散化の欠点を解決するために, 脱胆勾配外挿法(RAMPAGE)のRAndomized Mid-Pointと, その分散還元法であるRAMPAGE+を導入する。 EGとは対照的に、どちらの方法も偏りがない。 さらに、負の相関を利用して、RAMPAGE+は非バイアスで幾何学的な経路積分器として機能し、内部の1次項を分散から完全に取り除き、RAMPAGEを確実に改善する。 さらに、両手法が証明可能な$\mathcal{O}(1/k)$収束保証を享受できることを実証する。 さらに、対称スケールの変種を導入し、その結果を制約付き VI に拡張する。 最後に、確率的かつ決定論的な滑らかな凸凹凸ゲームに対する両手法の収束保証を提供する。 興味深いことに、ランダム化メソッドであるにもかかわらず、RAMPAGE+は、多くの研究された設定に対して純粋に決定論的境界に達した。

関連論文リスト

• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias [55.72269695392027]
  本稿では,線形系を解くためにエントロピックミラー降下を適用することに焦点を当てる。 収束解析の主な課題は、領域の非有界性に起因する。 制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。
  論文  参考訳（メタデータ） (2025-05-05T12:33:18Z)
• Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
  本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。 我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。 シミュレーションおよび実データ実験により本手法を実証する。
  論文  参考訳（メタデータ） (2023-09-14T15:58:30Z)
• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Solving Constrained Variational Inequalities via an Interior Point Method [88.39091990656107]
  制約付き変分不等式(cVI)問題を解くためのインテリアポイントアプローチを開発する。 本稿では,2種類の問題においてACVIの収束保証を提供する。 この設定における以前の作業とは異なり、ACVIは制約が自明でない場合にcVIを解く手段を提供する。
  論文  参考訳（メタデータ） (2022-06-21T17:55:13Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。