論文の概要: Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence

• arxiv url: http://arxiv.org/abs/2210.07703v2
• Date: Wed, 4 Sep 2024 17:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 07:20:22.465728
• Title: Hybrid Decentralized Optimization: Leveraging Both First- and Zeroth-Order Optimizers for Faster Convergence
• Title（参考訳）: ハイブリッド分散最適化: 高速収束のための一階最適化とゼロ階最適化の活用
• Authors: Matin Ansaripour, Shayan Talaei, Giorgi Nadiradze, Dan Alistarh,
• Abstract要約: 分散システムは、よりノイズの多いゼロオーダーエージェントに耐えられるが、最適化プロセスにおいてそのようなエージェントの恩恵を受けることができる。 本研究の結果は,共同最適化作業に貢献しながらも,凸および非零次最適化の目的を達成できる。
• 参考スコア（独自算出の注目度）: 31.59453616577858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributed optimization is the standard way of speeding up machine learning training, and most of the research in the area focuses on distributed first-order, gradient-based methods. Yet, there are settings where some computationally-bounded nodes may not be able to implement first-order, gradient-based optimization, while they could still contribute to joint optimization tasks. In this paper, we initiate the study of hybrid decentralized optimization, studying settings where nodes with zeroth-order and first-order optimization capabilities co-exist in a distributed system, and attempt to jointly solve an optimization task over some data distribution. We essentially show that, under reasonable parameter settings, such a system can not only withstand noisier zeroth-order agents but can even benefit from integrating such agents into the optimization process, rather than ignoring their information. At the core of our approach is a new analysis of distributed optimization with noisy and possibly-biased gradient estimators, which may be of independent interest. Our results hold for both convex and non-convex objectives. Experimental results on standard optimization tasks confirm our analysis, showing that hybrid first-zeroth order optimization can be practical, even when training deep neural networks.
• Abstract（参考訳）: 分散最適化は、機械学習のトレーニングを高速化する標準的な方法であり、この分野の研究の大部分は、分散一階述語、勾配に基づく方法に焦点を当てている。 しかし、いくつかの計算バウンドノードが一階の勾配ベースの最適化を実装できない場合もあり、共同最適化タスクに寄与する可能性がある。 本稿では,ハイブリッド分散最適化の研究を開始し,0階ノードと1階ノードの最適化能力を持つノードが分散システムに共存する環境について検討し,データ分散に関する最適化課題を共同で解決しようと試みる。 基本的に、適切なパラメータ設定の下では、そのようなシステムはノイズゼロオーダーエージェントに耐えるだけでなく、情報を無視するのではなく、最適化プロセスにそのようなエージェントを組み込むことのメリットも示している。 我々のアプローチの核心は、ノイズやバイアスのある勾配推定器による分散最適化の新しい分析であり、これは独立した関心を持つかもしれない。 我々の結果は凸目的と非凸目的の両方に当てはまる。 標準最適化タスクの実験結果から、ディープニューラルネットワークを訓練しても、ハイブリッドファーストゼロオーダー最適化が実用可能であることが確認された。

関連論文リスト

• Understanding Optimization in Deep Learning with Central Flows [53.66160508990508]
  RMSの暗黙的な振る舞いは、微分方程式の「中央流:」によって明示的に捉えられることを示す。 これらのフローは、汎用ニューラルネットワークの長期最適化軌道を経験的に予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:13Z)
• Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization [8.670873561640903]
  分散環境下での非平滑な非平滑な目的に対する(delta,,ilon$)-定常点の有限時間解析について検討する。 $Oは分散非滑らかな最適化のための最初の有限時間保証である。
  論文  参考訳（メタデータ） (2024-06-03T16:09:34Z)
• A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
  推論と最適化は計算処理が可能であることを示す。 特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。 得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-26T14:47:40Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• SGD with Partial Hessian for Deep Neural Networks Optimization [18.78728272603732]
  本稿では,チャネルワイドパラメータを更新するための2次行列と,他のパラメータを更新するための1次勾配降下(SGD)アルゴリズムを組み合わせた化合物を提案する。 一階述語と比較して、最適化を支援するためにヘッセン行列からの一定の量の情報を採用するが、既存の二階述語一般化と比較すると、一階述語一般化の性能は不正確である。
  論文  参考訳（メタデータ） (2024-03-05T06:10:21Z)
• Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
  競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。 幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
  論文  参考訳（メタデータ） (2022-09-02T09:06:24Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble [11.64233949999656]
  MACE(Multi-objective Acquisition Function Ensemble)を用いた並列化可能なベイズ最適化アルゴリズムを提案する。 提案アルゴリズムは,バッチサイズが15のときの非制約最適化問題に対する微分進化(DE)と比較して,シミュレーション全体の時間を最大74倍削減することができる。 制約付き最適化問題に対して,提案アルゴリズムは,バッチサイズが15の場合に,重み付き改善に基づくベイズ最適化(WEIBO)アプローチと比較して最大15倍の高速化を実現することができる。
  論文  参考訳（メタデータ） (2021-06-28T13:21:28Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。