論文の概要: Gradient Descent-Type Methods: Background and Simple Unified Convergence Analysis

• arxiv url: http://arxiv.org/abs/2212.09413v1
• Date: Mon, 19 Dec 2022 12:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 18:26:11.574754
• Title: Gradient Descent-Type Methods: Background and Simple Unified Convergence Analysis
• Title（参考訳）: グラディエントDescent型手法:背景と単純統一収束解析
• Authors: Quoc Tran-Dinh, Marten van Dijk
• Abstract要約: 本稿では,勾配降下法を構成する主成分について概説する。 我々は,これらの構成要素を数学的観点から説明することを目的としているが,初等レベルでは説明できない。
• 参考スコア（独自算出の注目度）: 22.006276642863675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.
• Abstract（参考訳）: 本章では,勾配降下法を構成する主成分と,その加速・確率的変種について概説する。 理論的・実践的な側面を含む数学的観点からこれらの構成要素を説明することを目的としている。 本稿では,勾配降下法の基本変種に着目し,近年の変種,特に分散還元確率勾配スキーム(SGD)への展望を拡大する。 我々のアプローチは、問題の内部で提示される構造と目的関数に課される仮定を明らかにすることに依存している。 我々の収束解析はいくつかの既知の結果を統一し、一般的な、しかし初歩的な再帰的な表現に依存している。 我々は、この分析をいくつかの共通スキームで示した。

関連論文リスト

• Generalizing Stochastic Smoothing for Differentiation and Gradient Estimation [59.86921150579892]
  アルゴリズム,演算子,シミュレータ,その他の微分不可能関数の微分可能緩和に対する勾配推定の問題に対処する。 我々は、微分可能なソートとランキングのための分散化戦略、グラフ上の微分可能なショートパス、ポーズ推定のための微分可能なレンダリング、および微分可能なCryo-ETシミュレーションを開発する。
  論文  参考訳（メタデータ） (2024-10-10T17:10:00Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Do algorithms and barriers for sparse principal component analysis extend to other structured settings? [9.339550283840769]
  スパイクされたウィッシュアートモデルに基づく主成分分析問題について検討する。 問題インスタンスの幾何学に依存する基本的な限界を確立する。 自然射影パワー法は,解の統計的に最適に近い近傍に局所収束を示すことを示す。
  論文  参考訳（メタデータ） (2023-07-25T14:30:00Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Behind the Scenes of Gradient Descent: A Trajectory Analysis via Basis Function Decomposition [4.01776052820812]
  本研究は,新しい基底関数分解法を用いて勾配型アルゴリズムの解軌跡を解析する。 勾配に基づくアルゴリズムの解軌跡は学習課題によって異なるが、適切な正規関数ベースに投影された場合、ほとんど単調に振る舞う。
  論文  参考訳（メタデータ） (2022-10-01T19:15:40Z)
• Generalized Optimization: A First Step Towards Category Theoretic Learning Theory [1.52292571922932]
  我々は、勾配勾配勾配の直接一般化やニュートン法の新しい一般化など、いくつかの最適化アルゴリズムを一般化する。 これらのアルゴリズムの変換不変性が保存されていることを示す。 また,内積様表現を用いて一般化降下の損失の変化を表現できることも示している。
  論文  参考訳（メタデータ） (2021-09-20T15:19:06Z)
• On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent [55.96478231566129]
  学習モデルを決定する上で,相対スケールが重要な役割を果たすことを示す。 勾配流の誘導バイアスを導出する手法を開発した。
  論文  参考訳（メタデータ） (2021-02-19T07:10:48Z)
• On the Iteration Complexity of Hypergradient Computation [38.409444179509705]
  機械学習では、上層目標(過度)の勾配は、正確に計算するのは難しいか、あるいは不可能である。 逆モード反復微分と近似的暗黙的微分に基づく過次微分を計算するための一般的なアプローチについて検討する。 この分析は, 共役勾配に基づく近似的暗黙差を最良とする, 上記の手法の計算効率の階層性を示す。
  論文  参考訳（メタデータ） (2020-06-29T17:32:47Z)
• There and Back Again: Revisiting Backpropagation Saliency Methods [87.40330595283969]
  正当性法は,各入力サンプルの重要度マップを作成することによって,モデルの予測を説明する。 このような手法の一般的なクラスは、信号のバックプロパゲートと結果の勾配の分析に基づいている。 本稿では,そのような手法を統一可能な単一のフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。