論文の概要: Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients

• arxiv url: http://arxiv.org/abs/2410.17764v1
• Date: Wed, 23 Oct 2024 11:02:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:56:52.752593
• Title: Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients
• Title（参考訳）: バックプロパゲーションを超えて - マルチタンジェントフォワード勾配による最適化
• Authors: Katharina Flügel, Daniel Coquelin, Marie Weiel, Achim Streit, Markus Götz,
• Abstract要約: 前向き勾配は、前方モード自動微分によって計算されたランダム接線に沿った方向微分からの勾配を近似するアプローチである。 本稿では,マルチタングルト前方勾配の詳細な解析を行い,プロジェクションに基づく複数の接点からの前方勾配を組み合わせるための改良されたアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.08388591755871733
• License:
• Abstract: The gradients used to train neural networks are typically computed using backpropagation. While an efficient way to obtain exact gradients, backpropagation is computationally expensive, hinders parallelization, and is biologically implausible. Forward gradients are an approach to approximate the gradients from directional derivatives along random tangents computed by forward-mode automatic differentiation. So far, research has focused on using a single tangent per step. This paper provides an in-depth analysis of multi-tangent forward gradients and introduces an improved approach to combining the forward gradients from multiple tangents based on orthogonal projections. We demonstrate that increasing the number of tangents improves both approximation quality and optimization performance across various tasks.
• Abstract（参考訳）: ニューラルネットワークのトレーニングに使用される勾配は通常、バックプロパゲーションを用いて計算される。 正確な勾配を得る効率的な方法であるが、バックプロパゲーションは計算に高価であり、並列化を妨げ、生物学的には不可能である。 前向き勾配は、前方モード自動微分によって計算されたランダム接線に沿った方向微分からの勾配を近似するアプローチである。 これまでのところ、研究は1ステップごとに1つのタンジェントを使うことに重点を置いている。 本稿では,多角的前方勾配の詳細な解析を行い,直交射影に基づく複数の接点からの前方勾配を結合する改良手法を提案する。 接点数を増やすことで,様々なタスクにおける近似品質と最適化性能が向上することを示す。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Forward Gradient-Based Frank-Wolfe Optimization for Memory Efficient Deep Neural Network Training [0.0]
  本稿では,よく知られたFrank-Wolfeアルゴリズムの性能解析に焦点をあてる。 提案アルゴリズムは, 最適解に収束し, サブ線形収束率を示す。 対照的に、標準的なフランク=ウルフアルゴリズムは、プロジェクテッド・フォワード・グラディエントへのアクセスを提供すると、最適解に収束しない。
  論文  参考訳（メタデータ） (2024-03-19T07:25:36Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
  本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
  論文  参考訳（メタデータ） (2023-02-06T23:39:13Z)
• Optimization without Backpropagation [0.0]
  前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。 我々は、最良近似前方勾配を得る最適条件を導出する。
  論文  参考訳（メタデータ） (2022-09-13T21:09:34Z)
• Gradients without Backpropagation [16.928279365071916]
  本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。 様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
  論文  参考訳（メタデータ） (2022-02-17T11:07:55Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。