Fugu-MT 論文翻訳(概要): Optimization without Backpropagation

論文の概要: Optimization without Backpropagation

arxiv url: http://arxiv.org/abs/2209.06302v1
Date: Tue, 13 Sep 2022 21:09:34 GMT
ステータス: 処理完了
システム内更新日: 2022-09-15 14:02:48.967818
Title: Optimization without Backpropagation
Title（参考訳）: バックプロパゲーションのない最適化
Authors: Gabriel Belouze
Abstract要約: 前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。我々は、最良近似前方勾配を得る最適条件を導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Forward gradients have been recently introduced to bypass backpropagation in autodifferentiation, while retaining unbiased estimators of true gradients. We derive an optimality condition to obtain best approximating forward gradients, which leads us to mathematical insights that suggest optimization in high dimension is challenging with forward gradients. Our extensive experiments on test functions support this claim.
Abstract（参考訳）: 前方勾配は、最近自己微分のバックプロパゲーションをバイパスするために導入され、真の勾配の偏りのない推定器を維持している。我々は、最良近似のフォワード勾配を得る最適条件を導出し、高次元での最適化がフォワード勾配では困難であることを示す数学的洞察を得る。テスト関数に関する広範な実験がこの主張を支持している。

関連論文リスト

Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients [0.08388591755871733]
前向き勾配は、前方モード自動微分によって計算されたランダム接線に沿った方向微分からの勾配を近似するアプローチである。本稿では,マルチタングルト前方勾配の詳細な解析を行い,プロジェクションに基づく複数の接点からの前方勾配を組み合わせるための改良されたアプローチを提案する。
論文参考訳（メタデータ） (2024-10-23T11:02:59Z)
Differentially Private Optimization with Sparse Gradients [60.853074897282625]
微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
論文参考訳（メタデータ） (2024-04-16T20:01:10Z)
Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文参考訳（メタデータ） (2023-06-02T04:21:59Z)
Parameter-free projected gradient descent [0.0]
我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
論文参考訳（メタデータ） (2023-05-31T07:22:44Z)
Local Bayesian optimization via maximizing probability of descent [26.82385325186729]
局所最適化は高価で高次元のブラックボックス最適化に対する有望なアプローチである。意外なことに、勾配の期待値は必ずしも降下確率を最大化する方向であるとは限らない。この観測は、最も確率の高い降下方向を移動しながら降下の確率を最大化しようとするエレガントな最適化スキームを刺激する。
論文参考訳（メタデータ） (2022-10-21T01:13:14Z)
Gradients without Backpropagation [16.928279365071916]
本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
論文参考訳（メタデータ） (2022-02-17T11:07:55Z)
On Training Implicit Models [75.20173180996501]
ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
論文参考訳（メタデータ） (2021-11-09T14:40:24Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。モデルに基づく手続きが雑音勾配設定に収束することを証明する。これは自己チューニング二次体を構築するための興味深いステップである。
論文参考訳（メタデータ） (2020-11-09T22:07:30Z)
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。