Fugu-MT 論文翻訳(概要): Stochastic Polyak Stepsize with a Moving Target

論文の概要: Stochastic Polyak Stepsize with a Moving Target

arxiv url: http://arxiv.org/abs/2106.11851v1
Date: Tue, 22 Jun 2021 15:11:18 GMT
ステータス: 処理完了
システム内更新日: 2021-06-23 14:42:00.776838
Title: Stochastic Polyak Stepsize with a Moving Target
Title（参考訳）: 動くターゲットで確率的ポリアックをステップ化する
Authors: Robert M. Gower and Aaron Defazio and Michael Rabbat
Abstract要約: 本稿では,過去の損失値を用いて分散を低減できる新しい勾配法を提案する。本手法では,各データポイント毎に1つの補助変数を導入し,各データポイントの損失値を追跡する。
参考スコア（独自算出の注目度）: 19.50869817974852
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new stochastic gradient method that uses recorded past loss values to reduce the variance. Our method can be interpreted as a new stochastic variant of the Polyak Stepsize that converges globally without assuming interpolation. Our method introduces auxiliary variables, one for each data point, that track the loss value for each data point. We provide a global convergence theory for our method by showing that it can be interpreted as a special variant of online SGD. The new method only stores a single scalar per data point, opening up new applications for variance reduction where memory is the bottleneck.
Abstract（参考訳）: 本稿では, 過去の損失値を用いて分散を低減する確率勾配法を提案する。この手法は補間を仮定することなく世界中に収束するPolyak Stepsizeの新しい確率的変種と解釈できる。提案手法では,各データポイントの損失値を追跡する補助変数を各データポイント毎に導入する。本稿では,オンラインSGDの特別な変種として解釈できることを示し,グローバル収束理論を提案する。新しいメソッドはデータポイント毎に単一のスカラーのみを格納し、メモリがボトルネックとなる分散低減のための新しいアプリケーションを開く。

関連論文リスト

Reducing Variance in Meta-Learning via Laplace Approximation for Regression Tasks [23.33263252557512]
勾配に基づくメタラーニングにおける分散化の問題に対処する。本稿では,各支持点を個別に重み付けすることで,勾配推定のばらつきを低減する手法を提案する。
論文参考訳（メタデータ） (2024-10-02T12:30:05Z)
Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文参考訳（メタデータ） (2024-04-24T09:04:36Z)
Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文参考訳（メタデータ） (2023-11-04T11:12:24Z)
A Stochastic Variance Reduced Gradient using Barzilai-Borwein Techniques as Second Order Information [0.0]
本研究では,対象関数の曲率情報を組み込むことにより,勾配分散低減法(SVRG)の改良を検討する。計算効率の良いBarzilai-Borwein(BB)法による勾配の分散をSVRGに組み込むことにより低減することを提案する。線形収束定理は,提案手法だけでなく,2次情報を持つSVRGの既存変種に対しても有効である。
論文参考訳（メタデータ） (2022-08-23T16:38:40Z)
Cutting Some Slack for SGD with Adaptive Polyak Stepsizes [35.024680868164445]
SPS (Stochastic gradient with a Polyak Stepsize) 適応法について考察する。まず、SPSとその最近の変種は、すべて非線形問題に適用されたパッシブ・攻撃的手法の拡張と見なせることを示す。我々はこの知見を用いて非線形モデルに適した新しいSPS法を開発した。
論文参考訳（メタデータ） (2022-02-24T19:31:03Z)
KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文参考訳（メタデータ） (2021-06-14T22:24:23Z)
Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
論文参考訳（メタデータ） (2020-12-13T03:41:52Z)
Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
論文参考訳（メタデータ） (2020-06-24T06:01:24Z)
Unified Analysis of Stochastic Gradient Methods for Composite Convex and Smooth Optimization [15.82816385434718]
本稿では、滑らかで凸な損失と凸正則化器を最小化するための勾配アルゴリズムの収束解析のための統一定理を提案する。我々は、Gorbunov, Hanzely & Richt'arik (2020) の統一解析を拡張し、損失関数が強く凸であるという要求を下げる。我々の統一解析は、近位SGD、分散還元法、量子化、およびいくつかの座標降下型法などの既存のアルゴリズムのホストに適用できる。
論文参考訳（メタデータ） (2020-06-20T13:40:27Z)
Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。我々は、測定値の低減を行う降下ステップを適応的に選択する。これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。