論文の概要: Optimization using Parallel Gradient Evaluations on Multiple Parameters

• arxiv url: http://arxiv.org/abs/2302.03161v1
• Date: Mon, 6 Feb 2023 23:39:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-08 17:53:36.235007
• Title: Optimization using Parallel Gradient Evaluations on Multiple Parameters
• Title（参考訳）: パラレル勾配評価を用いた複数パラメータの最適化
• Authors: Yash Chandak, Shiv Shankar, Venkata Gandikota, Philip S. Thomas, Arya Mazumdar
• Abstract要約: 本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
• 参考スコア（独自算出の注目度）: 51.64614793990665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a first-order method for convex optimization, where instead of being restricted to the gradient from a single parameter, gradients from multiple parameters can be used during each step of gradient descent. This setup is particularly useful when a few processors are available that can be used in parallel for optimization. Our method uses gradients from multiple parameters in synergy to update these parameters together towards the optima. While doing so, it is ensured that the computational and memory complexity is of the same order as that of gradient descent. Empirical results demonstrate that even using gradients from as low as \textit{two} parameters, our method can often obtain significant acceleration and provide robustness to hyper-parameter settings. We remark that the primary goal of this work is less theoretical, and is instead aimed at exploring the understudied case of using multiple gradients during each step of optimization.
• Abstract（参考訳）: 本稿では,1つのパラメータから勾配に制限される代わりに,勾配降下の各ステップで複数のパラメータからの勾配を利用できる凸最適化法を提案する。 この設定は、最適化のために並列に使用できるいくつかのプロセッサが利用できる場合に特に有用である。 本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。 そうしている間、計算量とメモリの複雑さは勾配降下のそれと同じ順序であることが保証される。 実験の結果, \textit{two} パラメータの勾配を用いた場合であっても,この手法は大きな加速度を与え,ハイパーパラメータの設定に頑健性を与える。 この研究の主な目標は理論的なものではなく、最適化の各ステップで複数の勾配を使用するという未熟なケースを探求することにある。

関連論文リスト

• Learning Algorithm Hyperparameters for Fast Parametric Convex Optimization [2.0403774954994858]
  本稿では,一階法のハイパーパラメータ列を学習するための機械学習フレームワークを提案する。 いくつかのアルゴリズムのハイパーパラメータの学習方法を示す。 本稿では,制御,信号処理,機械学習など,多くの例を用いて本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-24T04:58:36Z)
• Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients [0.08388591755871733]
  前向き勾配は、前方モード自動微分によって計算されたランダム接線に沿った方向微分からの勾配を近似するアプローチである。 本稿では,マルチタングルト前方勾配の詳細な解析を行い,プロジェクションに基づく複数の接点からの前方勾配を組み合わせるための改良されたアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-23T11:02:59Z)
• Multi-fidelity Constrained Optimization for Stochastic Black Box Simulators [1.6385815610837167]
  上記の問題に対処するために、Scout-Nd (Stochastic Constrained Optimization for N dimensions) アルゴリズムを導入する。 Scout-Ndは効率よく勾配を推定し、推定器勾配のノイズを低減し、計算労力をさらに削減するために多重忠実性スキームを適用する。 提案手法を標準ベンチマークで検証し,既存の手法よりも優れた性能を示すパラメータの最適化の有効性を示す。
  論文  参考訳（メタデータ） (2023-11-25T23:36:38Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Online Hyperparameter Meta-Learning with Hypergradient Distillation [59.973770725729636]
  勾配に基づくメタラーニング法は、内部最適化に関与しないパラメータのセットを仮定する。 知識蒸留による2次項の近似により,これらの限界を克服できる新しいHO法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T05:14:53Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。