Fugu-MT 論文翻訳(概要): A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information

論文の概要: A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information

arxiv url: http://arxiv.org/abs/2208.11075v1
Date: Tue, 23 Aug 2022 16:38:40 GMT
ステータス: 処理完了
システム内更新日: 2022-08-24 12:54:51.984143
Title: A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information
Title（参考訳）: Barzilai-Borwein 法を2次情報として用いた確率変動低減勾配
Authors: Hardik Tankaria and Nobuo Yamashita
Abstract要約: 本研究では,対象関数の曲率情報を組み込むことにより,勾配分散低減法(SVRG)の改良を検討する。計算効率の良いBarzilai-Borwein(BB)法による勾配の分散をSVRGに組み込むことにより低減することを提案する。線形収束定理は,提案手法だけでなく,2次情報を持つSVRGの既存変種に対しても有効である。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we consider to improve the stochastic variance reduce gradient (SVRG) method via incorporating the curvature information of the objective function. We propose to reduce the variance of stochastic gradients using the computationally efficient Barzilai-Borwein (BB) method by incorporating it into the SVRG. We also incorporate a BB-step size as its variant. We prove its linear convergence theorem that works not only for the proposed method but also for the other existing variants of SVRG with second-order information. We conduct the numerical experiments on the benchmark datasets and show that the proposed method with constant step size performs better than the existing variance reduced methods for some test problems.
Abstract（参考訳）: 本稿では,目的関数の曲率情報を取り込むことにより,確率的分散低減勾配(svrg)法を改善することを検討する。本稿では,SVRGに組み込んだ計算効率の良いバルジライ・ボルワイン法を用いて確率勾配の分散を低減することを提案する。また、BBステップサイズをその変種として組み込んだ。線形収束定理は,提案手法だけでなく,2次情報を持つSVRGの既存変種に対しても有効である。ベンチマークデータセット上で数値実験を行い、一定のステップサイズを持つ提案手法が、いくつかのテスト問題に対して既存の分散低減手法よりも優れた性能を示すことを示す。

関連論文リスト

Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文参考訳（メタデータ） (2024-08-20T19:06:02Z)
Adaptive importance sampling for Deep Ritz [7.123920027048777]
偏微分方程式(PDE)の解法を目的としたディープリッツ法の適応サンプリング法を提案する。 1つのネットワークはPDEの解を近似するために使用され、もう1つはトレーニングセットを洗練させるために新しいコロケーションポイントを生成するために使用される深層生成モデルである。従来のDeep Ritz法と比較して、特に低正規性と高次元性で特徴づけられる問題に対して、提案手法は精度を向上する。
論文参考訳（メタデータ） (2023-10-26T06:35:08Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文参考訳（メタデータ） (2021-06-30T17:51:36Z)
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文参考訳（メタデータ） (2021-06-10T18:17:57Z)
A Variance Controlled Stochastic Method with Biased Estimation for Faster Non-convex Optimization [0.0]
減少勾配(SVRG)の性能を向上させるために, 分散制御勾配(VCSG)という新しい手法を提案する。ラムダ$はVCSGで導入され、SVRGによる分散の過剰還元を避ける。 $mathcalO(min1/epsilon3/2,n1/4/epsilon)$ 勾配評価の数。
論文参考訳（メタデータ） (2021-02-19T12:22:56Z)
AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文参考訳（メタデータ） (2021-02-19T01:17:15Z)
On Stochastic Variance Reduced Gradient Method for Semidefinite Optimization [14.519696724619074]
SVRG法は最も有効な方法の1つと考えられている。半定型プログラミング(SDP)に適応する場合、理論と実践の間には大きなギャップがある本稿では,このギャップを,半定値最適化に適応したオプションIを用いて,元のSVRGの新たな変種を利用して埋める。
論文参考訳（メタデータ） (2021-01-01T13:55:32Z)
A variable metric mini-batch proximal stochastic recursive gradient algorithm with diagonal Barzilai-Borwein stepsize [6.358720570480498]
我々は,新しい対角BBステップサイズを用いて,パラメータを更新する可変距離最小バッチ近位勾配アルゴリズムVM-mSRGBBを提案する。 VM-mSRGBB の線型収束は、強い凸、非強凸、凸関数に対して確立される。
論文参考訳（メタデータ） (2020-10-02T07:18:42Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。