論文の概要: Optimization without Backpropagation
- arxiv url: http://arxiv.org/abs/2209.06302v1
- Date: Tue, 13 Sep 2022 21:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 14:02:48.967818
- Title: Optimization without Backpropagation
- Title(参考訳): バックプロパゲーションのない最適化
- Authors: Gabriel Belouze
- Abstract要約: 前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。
我々は、最良近似前方勾配を得る最適条件を導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Forward gradients have been recently introduced to bypass backpropagation in
autodifferentiation, while retaining unbiased estimators of true gradients. We
derive an optimality condition to obtain best approximating forward gradients,
which leads us to mathematical insights that suggest optimization in high
dimension is challenging with forward gradients. Our extensive experiments on
test functions support this claim.
- Abstract(参考訳): 前方勾配は、最近自己微分のバックプロパゲーションをバイパスするために導入され、真の勾配の偏りのない推定器を維持している。
我々は、最良近似のフォワード勾配を得る最適条件を導出し、高次元での最適化がフォワード勾配では困難であることを示す数学的洞察を得る。
テスト関数に関する広範な実験がこの主張を支持している。
関連論文リスト
- High Probability Analysis for Non-Convex Stochastic Optimization with
Clipping [13.025261730510847]
勾配クリッピングは重み付きニューラルネットワークを扱う技術である。
ほとんどの理論上の保証は、予測外解析のみを提供し、性能のみを提供する。
我々の分析は、勾配クリッピングによる最適化アルゴリズムの理論的保証について、比較的完全な図を提供している。
論文 参考訳(メタデータ) (2023-07-25T17:36:56Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - Parameter-free projected gradient descent [0.0]
我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。
本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。
提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
論文 参考訳(メタデータ) (2023-05-31T07:22:44Z) - Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文 参考訳(メタデータ) (2023-02-06T23:39:13Z) - Local Bayesian optimization via maximizing probability of descent [26.82385325186729]
局所最適化は高価で高次元のブラックボックス最適化に対する有望なアプローチである。
意外なことに、勾配の期待値は必ずしも降下確率を最大化する方向であるとは限らない。
この観測は、最も確率の高い降下方向を移動しながら降下の確率を最大化しようとするエレガントな最適化スキームを刺激する。
論文 参考訳(メタデータ) (2022-10-21T01:13:14Z) - Gradients without Backpropagation [16.928279365071916]
本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。
様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
論文 参考訳(メタデータ) (2022-02-17T11:07:55Z) - On Training Implicit Models [75.20173180996501]
ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。
大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
論文 参考訳(メタデータ) (2021-11-09T14:40:24Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Self-Tuning Stochastic Optimization with Curvature-Aware Gradient
Filtering [53.523517926927894]
サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。
モデルに基づく手続きが雑音勾配設定に収束することを証明する。
これは自己チューニング二次体を構築するための興味深いステップである。
論文 参考訳(メタデータ) (2020-11-09T22:07:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。