論文の概要: Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size

• arxiv url: http://arxiv.org/abs/2608.12009v1
• Date: Wed, 12 Aug 2026 12:46:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.574014
• Title: Adaptive Bregman Proximal Stochastic Gradient with a Stabilized Barzilai--Borwein Step Size
• Title（参考訳）: 安定化バルジライを有する適応ブルグマン近位確率勾配-ボルウィンステップサイズ
• Abstract要約: Bregman finite proximal ergo gradient (BPSG) 法は、ユークリッドの滑らかさによって幾何が不十分な対象に分散還元された合成サイズをもたらす。 生の曲率推定は変動するが、行検索は繰り返し検索を追加する。 本稿では,スパース値と非負行列分解率を組み合わせた線探索手法であるAdaBPSGを紹介する。
• 参考スコア（独自算出の注目度）: 43.46286813814826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bregman proximal stochastic gradient (BPSG) methods bring variance-reduced composite optimization to objectives whose geometry is poorly captured by Euclidean smoothness. Their performance, however, remains sensitive to the step size: raw stochastic curvature estimates can fluctuate sharply, whereas line searches add repeated proximal evaluations. We introduce Ada-BPSG, a line-search-free BPSG method that couples the SAGA gradient table with a stabilized Barzilai--Borwein (BB) candidate. A mediant aggregates incremental secant information so that nearly singular local ratios receive little weight, and an explicit safeguard translates the resulting curvature estimate into the bounded step-size sequence required for convergence. This design yields a direct analytical chain from relative smoothness and component-wise variance control to convergence in finite-dimensional normed spaces. We prove an $O(n/K)$ ergodic rate for convex objectives, a restarted linear rate under relative quadratic growth, and an $O(1/K)$ bound for a Bregman proximal residual in the nonconvex setting. On logistic regression and sparse nonnegative matrix factorization, Ada-BPSG combines low objective values with substantially less sensitivity to the initial step size than standard variance-reduced baselines, while avoiding line search.
• Abstract（参考訳）: Bregman proximal stochastic gradient (BPSG) 法はユークリッドの滑らかさによって幾何が不十分な対象に分散還元合成最適化をもたらす。 しかし、それらの性能はステップサイズに敏感であり、生確率曲率推定は急激に変動し、ラインサーチは繰り返し近似評価を加える。 Ada-BPSGは,SAGA勾配表と安定化Barzilai-Borwein(BB)候補を結合した線探索自由なBPSG法である。 中央値がインクリメンタルセカント情報を集約して、ほぼ特異な局所比がほとんど重みを取らないようにし、明示的な安全ガードにより、得られた曲率推定結果を収束に必要な有界ステップサイズシーケンスに変換する。 この設計は、有限次元ノルム空間における相対滑らかさと成分的分散制御から収束への直接解析的連鎖をもたらす。 凸目標に対して$O(n/K)$エルゴードレート、相対二次成長下での再帰線形レート、非凸条件におけるブレグマン近位残差に対して$O(1/K)$バウンドを証明した。 ロジスティック回帰とスパース非負行列分解では、Ada-BPSGは、線探索を回避しつつ、標準分散還元ベースラインよりも、初期ステップサイズに対する感度が著しく低い低目標値を組み合わせる。

関連論文リスト

• A proximal subgradient method for nonconvex stochastic optimization under the Kurdyka-Łojasiewicz condition [39.146761527401424]
  本研究は,期待されるコストの和を最小化するための近位次法を導入する。 クルディカ・ロジャシエヴィチ(KL)特性を用いて、全軌道の1つの定常点への収束を保証する。
  論文  参考訳（メタデータ） (2026-08-05T23:07:27Z)
• Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance [7.788141970705731]
  勾配解析とその変種におけるBlum-Glady Oracle (Amax-0) 条件の弱さに対処する。 これらの下界に合わせるために、スムーズな勾配に対する統一的なアルゴリズムフレームワークであるProllyxima Anchor (ASTA) を考える。
  論文  参考訳（メタデータ） (2026-04-17T18:15:51Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• A Retrospective Approximation Approach for Smooth Stochastic Optimization [0.2867517731896504]
  グラディエント(グラディエント、英: Gradient、SG)とは、最適化(SO)問題をスムーズ(ノンフィクション)な目標値で解くための補足的反復手法である。
  論文  参考訳（メタデータ） (2021-03-07T16:29:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。