論文の概要: Random-reshuffled SARAH does not need a full gradient computations

• arxiv url: http://arxiv.org/abs/2111.13322v1
• Date: Fri, 26 Nov 2021 06:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 18:24:00.214279
• Title: Random-reshuffled SARAH does not need a full gradient computations
• Title（参考訳）: ランダムリシャッフルSARAHは完全な勾配計算を必要としない
• Authors: Aleksandr Beznosikov and Martin Tak\'a\v{c}
• Abstract要約: StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The StochAstic Recursive grAdient algoritHm (SARAH) algorithm is a variance reduced variant of the Stochastic Gradient Descent (SGD) algorithm that needs a gradient of the objective function from time to time. In this paper, we remove the necessity of a full gradient computation. This is achieved by using a randomized reshuffling strategy and aggregating stochastic gradients obtained in each epoch. The aggregated stochastic gradients serve as an estimate of a full gradient in the SARAH algorithm. We provide a theoretical analysis of the proposed approach and conclude the paper with numerical experiments that demonstrate the efficiency of this approach.
• Abstract（参考訳）: 確率的再帰的勾配アルゴリズム(英: stochastic recursive gradient algorithm, sarah)は、確率的勾配降下(sgd)アルゴリズムの分散還元変種であり、時折目的関数の勾配を必要とする。 本稿では,完全な勾配計算の必要性を除去する。 これはランダムな再シャッフル戦略を使い、各エポックで得られる確率的勾配を集約することで達成される。 集計された確率勾配はサラアルゴリズムの完全な勾配の推定に役立っている。 本稿では,提案手法の理論的解析を行い,本手法の効率性を示す数値実験で論文をまとめる。

関連論文リスト

• An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness [15.656614304616006]
  本稿では,上層関数が非非有界な滑らかさであり,下層関数が強く凸であるような二層最適化問題のクラスについて検討する。 これらの問題は、ニューラルネットワークを用いたテキスト分類など、データ学習に大きな応用がある。
  論文  参考訳（メタデータ） (2024-09-28T02:30:44Z)
• Forward Gradient-Based Frank-Wolfe Optimization for Memory Efficient Deep Neural Network Training [0.0]
  本稿では,よく知られたFrank-Wolfeアルゴリズムの性能解析に焦点をあてる。 提案アルゴリズムは, 最適解に収束し, サブ線形収束率を示す。 対照的に、標準的なフランク=ウルフアルゴリズムは、プロジェクテッド・フォワード・グラディエントへのアクセスを提供すると、最適解に収束しない。
  論文  参考訳（メタデータ） (2024-03-19T07:25:36Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications [0.0]
  本論文は, 強凸対象に対する適応勾配アルゴリズムの非解析に係わるものである。 すべての理論的結果は、AdagradアルゴリズムとNewtonアルゴリズムの両方に対する線形回帰および正規化一般化線形モデルに適用される。
  論文  参考訳（メタデータ） (2023-03-01T07:36:03Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Multi-kernel Passive Stochastic Gradient Algorithms and Transfer Learning [21.796874356469644]
  勾配アルゴリズムはコスト関数のノイズ勾配が評価される位置を制御できない。 このアルゴリズムは高次元問題において著しく優れており、分散還元を取り入れている。
  論文  参考訳（メタデータ） (2020-08-23T11:55:19Z)
• Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient [51.880464915253924]
  深層Q-ラーニングアルゴリズムは、過度な分散を伴う勾配推定に苦しむことが多い。 本稿では、SRG-DQNと呼ばれる新しいアルゴリズムを実現するため、深層Q-ラーニングにおける勾配推定を更新するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:54:20Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。