論文の概要: A variable metric mini-batch proximal stochastic recursive gradient
algorithm with diagonal Barzilai-Borwein stepsize
- arxiv url: http://arxiv.org/abs/2010.00817v1
- Date: Fri, 2 Oct 2020 07:18:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 02:43:12.398449
- Title: A variable metric mini-batch proximal stochastic recursive gradient
algorithm with diagonal Barzilai-Borwein stepsize
- Title（参考訳）: 対角Barzilai-Borwein段差を持つ可変距離最小バッチ確率確率再帰勾配アルゴリズム
- Authors: Tengteng Yu, Xin-Wei Liu, Yu-Hong Dai and Jie Sun
- Abstract要約: 我々は,新しい対角BBステップサイズを用いて,パラメータを更新する可変距離最小バッチ近位勾配アルゴリズムVM-mSRGBBを提案する。
VM-mSRGBB の線型収束は、強い凸、非強凸、凸関数に対して確立される。
- 参考スコア（独自算出の注目度）: 6.358720570480498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variable metric proximal gradient methods with different metric selections
have been widely used in composite optimization. Combining the Barzilai-Borwein
(BB) method with a diagonal selection strategy for the metric, the diagonal BB
stepsize can keep low per-step computation cost as the scalar BB stepsize and
better capture the local geometry of the problem. In this paper, we propose a
variable metric mini-batch proximal stochastic recursive gradient algorithm
VM-mSRGBB, which updates the metric using a new diagonal BB stepsize. The
linear convergence of VM-mSRGBB is established for strongly convex,
non-strongly convex and convex functions. Numerical experiments on standard
data sets show that VM-mSRGBB is better than or comparable to some variance
reduced stochastic gradient methods with best-tuned scalar stepsizes or BB
stepsizes. Furthermore, the performance of VM-mSRGBB is superior to some
advanced mini-batch proximal stochastic gradient methods.
- Abstract（参考訳）: 異なる距離選択を持つ可変距離近位勾配法は、合成最適化に広く用いられている。
Barzilai-Borwein(BB)法とこの計量の対角選択戦略を組み合わせることで、対角BB段差はスカラーBB段差として低いステップ毎の計算コストを保ち、問題の局所幾何学をよりよく捉えることができる。
本稿では,新しい対角線BB段差を用いて,パラメータを更新する可変距離最小バッチ確率確率再帰勾配アルゴリズムVM-mSRGBBを提案する。
VM-mSRGBB の線型収束は、強い凸、非強凸、凸関数に対して確立される。
標準データセットの数値実験により、VM-mSRGBBは、最高の調整スカラーステップサイズやBBステップサイズを持つ確率勾配法の分散よりも優れているか同等であることが示された。
さらに、VM-mSRGBBの性能は、いくつかの高度なミニバッチ近位勾配法よりも優れている。
関連論文リスト
- Robust Approximate Sampling via Stochastic Gradient Barker Dynamics [0.0]
本稿では,Langevin に基づくサンプリングアルゴリズムの頑健な代替である Barker gradient dynamics (SGBD) アルゴリズムを勾配フレームワークに導入する。
本稿では,バーカー遷移機構に対する勾配の影響を特徴付けるとともに,勾配雑音による誤差を除去するバイアス補正版を開発する。
論文 参考訳（メタデータ） (2024-05-14T23:47:02Z) - Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。
分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。
実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
論文 参考訳（メタデータ） (2024-05-14T13:28:57Z) - AdaBatchGrad: Combining Adaptive Batch Size and Adaptive Step Size [42.84471753630676]
本稿では,AdaBatchGradと呼ばれるグラディエントDescent(SGD)の新規な適応について述べる。
適応的なステップサイズと調整可能なバッチサイズをシームレスに統合する。
適応的なステップサイズと適応的なバッチサイズを導入することで、通常のSGDの性能が徐々に向上することを示す。
論文 参考訳（メタデータ） (2024-02-07T21:19:05Z) - Beyond the Golden Ratio for Variational Inequality Algorithms [12.470097382737933]
我々は,モノトーン変分不等式 (VI) と凸凹 min-max 問題の解法である $textitgolden ratio algorithm$ の理解を改善した。
我々は,黄金比アルゴリズムと文献における既存のアルゴリズムとの橋渡しを完了するために,より大きなステップサイズを使用することのできる新しい分析手法を提案する。
論文 参考訳（メタデータ） (2022-12-28T16:58:48Z) - A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques
as Second Order Information [0.0]
本研究では,対象関数の曲率情報を組み込むことにより,勾配分散低減法(SVRG)の改良を検討する。
計算効率の良いBarzilai-Borwein(BB)法による勾配の分散をSVRGに組み込むことにより低減することを提案する。
線形収束定理は,提案手法だけでなく,2次情報を持つSVRGの既存変種に対しても有効である。
論文 参考訳（メタデータ） (2022-08-23T16:38:40Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - A Variance Controlled Stochastic Method with Biased Estimation for
Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。
ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。
$mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文 参考訳（メタデータ） (2021-02-19T12:22:56Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-01-19T04:24:23Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。