論文の概要: Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization

• arxiv url: http://arxiv.org/abs/2608.12043v1
• Date: Wed, 12 Aug 2026 13:25:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.591363
• Title: Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization
• Title（参考訳）: ばらつきの低減と規則化を伴わない確率根打ちの直接加速
• Authors: TaeHo Yoon, Nicolas Loizou,
• Abstract要約: 二重アンカー機構,すなわち二重アンカー機構が,そのようなエラーの蓄積を伴わずに反復設定にまで拡張されていることを示す。 強い単調作用素の場合、同じアルゴリズムはよりシャープな複雑さを達成し、$$-dependenceという観点で下界とほぼ一致する。
• 参考スコア（独自算出の注目度）: 15.2286904549704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acceleration for deterministic root-finding problems has been extensively studied in recent years; specifically, the anchor-based, or Halpern-type methods achieve optimal convergence rates with respect to the operator norm. However, acceleration via these methods does not directly carry over to stochastic setting due to accumulation of errors, unless one enforces diminishing variance via increasing batch sizes or variance reduction techniques. In this work, we show that another class of acceleration, namely the dual-anchor mechanism, extends to the stochastic setting without such error accumulation, in contrast to anchor-based algorithms. Consequently, we cleanly achieve $O(ε^{-3})$ complexity with iteration-independent batch size, without any variance reduction or double-loop recursive regularization, for stochastic root-finding (resp. fixed-point) problems with cocoercivity (resp. square-nonexpansivity) in expectation. For strongly monotone operators, the same algorithm attains a sharper $\widetilde{O} (ε^{-2})$ complexity, nearly matching the lower bound in terms of $ε$-dependence.
• Abstract（参考訳）: 決定論的根絶問題に対する加速は近年広く研究されており、特に、アンカーベースあるいはハルパーン型法は作用素ノルムに対する最適収束率を達成する。 しかし、これらの手法による加速度は、バッチサイズの増加やばらつき低減技術による分散の減少を強制しない限り、誤差の蓄積による確率的な設定に直結しない。 本研究では、アンカーベースのアルゴリズムとは対照的に、別のタイプの加速度、すなわちデュアルアンカー機構が、そのような誤差の蓄積を伴わずに確率的な設定にまで拡張されていることを示す。 その結果、確率的根の有限点問題(英語版)(resp. fixed-point)問題(英語版)(cocoercivity (resp. square-nonexpansivity))の予測において、ばらつきの低減や二重ループ再帰正則化を伴わない反復非依存バッチサイズでの$O(ε^{-3})$複雑性をきれいに達成した。 強い単調作用素の場合、同じアルゴリズムはよりシャープな$\widetilde{O} (ε^{-2})$複雑性を達成する。

関連論文リスト

• Finite-Time Analysis of Discounted Exponential-Utility Reinforcement Learning [9.748884794669346]
  モデルなし割引指数効用強化学習における最初の有限時間保証を提供する。 これらの結果は、モデルなし割引指数効用強化学習における最初の有限時間保証を提供する。
  論文  参考訳（メタデータ） (2026-08-03T08:50:07Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• Refining Covariance Matrix Estimation in Stochastic Gradient Descent Through Bias Reduction [9.294518380204154]
  勾配降下(SGD)アルゴリズムのオンライン推論と共分散推定について検討する。 提案手法は,既存のヘッセン自由代替品よりも優れた収差率$n(-1)/2 sqrtlog n$を達成するために,バイアス低減手法を用いている。
  論文  参考訳（メタデータ） (2026-04-23T01:48:08Z)
• From Inexact Gradients to Byzantine Robustness: Acceleration and Optimization under Similarity [12.097833603814252]
  そこで,Byzantine-Robust分散最適化は,不正確な勾配オラクルを用いた一般化最適化として適用可能であることを示す。 収束を高速化する2つの最適化手法を提案する。
  論文  参考訳（メタデータ） (2026-02-03T09:56:23Z)
• A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications [3.6997773420183866]
  我々は,非拡張作用素の固定点を近似するために,遅延不正確なオラクルを用いた固定点ベースのフレームワークを開発する。 本手法はネステロフ加速法とクラスノセル・スキーマン(KM)反復法の両方を利用する。
  論文  参考訳（メタデータ） (2025-12-15T17:06:22Z)
• Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
  ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。 PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。 得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
  論文  参考訳（メタデータ） (2025-12-01T02:52:33Z)
• VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations [3.6997773420183866]
  我々は,Nesterovの加速度と分散還元技術を組み合わせた,新しい楽観的勾配型アルゴリズムフレームワークを開発した。 この手法はリプシッツ連続性の下で残余の平方ノルムを期待して$mathcalO (1/k2)$収束率を達成することを示す。 提案手法の反復列は根本問題の解にほぼ確実に収束することを示す。
  論文  参考訳（メタデータ） (2025-08-22T20:46:29Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。