論文の概要: Learning Under Delayed Feedback: Implicitly Adapting to Gradient Delays

• arxiv url: http://arxiv.org/abs/2106.12261v1
• Date: Wed, 23 Jun 2021 09:36:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 15:17:49.449766
• Title: Learning Under Delayed Feedback: Implicitly Adapting to Gradient Delays
• Title（参考訳）: 遅延フィードバックによる学習: 勾配遅延に暗黙的に適応する
• Authors: Rotem Zamir Aviv (1), Ido Hakimi (2), Assaf Schuster (2), Kfir Y. Levy (1 and 3) ((1) Department of Electrical and Computer Engineering, Technion, (2) Department of Computer Science, Technion, (3) A Viterbi Fellow)
• Abstract要約: コンベックス最適化では、複数のマシンが共通のメモリを共有しながら並列に動作している。 本研究では、制約付き設定のための堅牢なトレーニング手法を提案し、更新遅延、客観的な滑らかさ、分散の事前知識に依存しない非収束保証を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We consider stochastic convex optimization problems, where several machines act asynchronously in parallel while sharing a common memory. We propose a robust training method for the constrained setting and derive non asymptotic convergence guarantees that do not depend on prior knowledge of update delays, objective smoothness, and gradient variance. Conversely, existing methods for this setting crucially rely on this prior knowledge, which render them unsuitable for essentially all shared-resources computational environments, such as clouds and data centers. Concretely, existing approaches are unable to accommodate changes in the delays which result from dynamic allocation of the machines, while our method implicitly adapts to such changes.
• Abstract（参考訳）: 複数のマシンが共通のメモリを共有しながら並列に動作する確率的凸最適化問題を考える。 本稿では,更新遅延,客観的な滑らかさ,勾配分散の事前知識に依存しない,制約付き設定のロバストなトレーニング手法を提案し,非漸近収束保証を導出する。 逆に、この設定のための既存のメソッドは、クラウドやデータセンターなど、本質的にすべての共有リソース計算環境に不向きな、この事前の知識に依存している。 具体的には,従来の手法ではマシンの動的割り当てによる遅延の変化に適応できないが,本手法はそのような変化に暗黙的に適応する。

関連論文リスト

• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Robust Networked Federated Learning for Localization [7.332862402432447]
  本稿では,データを複数のデバイスに分散するフェデレーション環境での非滑らかな近似問題に対処する。 本稿では,分散サブグラディエントフレームワークにおけるロバストな定式化を,これらの障害に対処するために明示的に設計した,$L_$-normを採用する手法を提案する。
  論文  参考訳（メタデータ） (2023-08-31T13:54:37Z)
• Resilient Constrained Learning [94.27081585149836]
  本稿では,学習課題を同時に解決しながら,要求に適応する制約付き学習手法を提案する。 我々はこの手法を、その操作を変更することで破壊に適応する生態システムを記述する用語に因んで、レジリエントな制約付き学習と呼ぶ。
  論文  参考訳（メタデータ） (2023-06-04T18:14:18Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Delay-adaptive step-sizes for asynchronous learning [8.272788656521415]
  システム内の実際の時間変化の遅延に依存する学習率を利用することが可能であることを示す。 これらの方法のそれぞれに対して, 遅延をオンラインで測定し, 遅延適応的なステップサイズポリシーを提示し, 現状に対する理論的, 実践的優位性を実証する。
  論文  参考訳（メタデータ） (2022-02-17T09:51:22Z)
• Breaking the Convergence Barrier: Optimization via Fixed-Time Convergent Flows [4.817429789586127]
  本稿では, 固定時間安定力学系の概念に基づいて, 加速を実現するための多言語最適化フレームワークを提案する。 提案手法の高速化された収束特性を,最先端の最適化アルゴリズムに対して様々な数値例で検証する。
  論文  参考訳（メタデータ） (2021-12-02T16:04:40Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。