論文の概要: Finite-Time Analysis of Asynchronous Stochastic Approximation and $Q$-Learning

• arxiv url: http://arxiv.org/abs/2002.00260v1
• Date: Sat, 1 Feb 2020 19:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 01:12:05.421758
• Title: Finite-Time Analysis of Asynchronous Stochastic Approximation and $Q$-Learning
• Title（参考訳）: 非同期確率近似と$Q$-Learningの有限時間解析
• Authors: Guannan Qu, Adam Wierman
• Abstract要約: 我々は、重み付き無限ノルムの縮約演算子を特徴とする一般的な非同期近似スキームを検討し、その有限時間収束速度を1つの軌道上で証明する。 得られたバウンダリは、同期$Q$-learningで利用可能な最もシャープなバウンダリと一致し、非同期$Q$-learningで既知のバウンダリよりも改善される。
• 参考スコア（独自算出の注目度）: 12.91948651812873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a general asynchronous Stochastic Approximation (SA) scheme featuring a weighted infinity-norm contractive operator, and prove a bound on its finite-time convergence rate on a single trajectory. Additionally, we specialize the result to asynchronous $Q$-learning. The resulting bound matches the sharpest available bound for synchronous $Q$-learning, and improves over previous known bounds for asynchronous $Q$-learning.
• Abstract（参考訳）: 我々は、重み付き無限ノルムの縮約演算子を特徴とする一般的な非同期確率近似(SA)スキームを考察し、その有限時間収束率を1つの軌道上で証明する。 さらに、結果を非同期の$q$-learningに特化します。 結果として得られるバウンドは、同期$q$-learningの最もシャープなバウンドと一致し、非同期$q$-learningのこれまでの既知のバウンドよりも改善される。

関連論文リスト

• Quantized and Asynchronous Federated Learning [22.40154714677385]
  我々は,通信ボトルネックに対処する新しい手法であるQuantized Federated AsynchronousQALを開発した。 我々はQALが一様クライアントの到着を必要とせずに$mathtcalqr$dic収束を実現することを証明した。 提案手法を標準ベンチマークを用いて検証する。
  論文  参考訳（メタデータ） (2024-09-30T21:22:41Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Stochastic Approximation with Delayed Updates: Finite-Time Rates under Markovian Sampling [73.5602474095954]
  マルコフサンプリングの遅延更新による近似スキームの非漸近的性能について検討した。 我々の理論的な発見は、幅広いアルゴリズムの遅延の有限時間効果に光を当てた。
  論文  参考訳（メタデータ） (2024-02-19T03:08:02Z)
• Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
  非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。 既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。 我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-18T10:00:27Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• Predicting the State of Synchronization of Financial Time Series using Cross Recurrence Plots [75.20174445166997]
  本研究では,2つの金融時系列の動的同期の将来の状態を予測する新しい手法を提案する。 我々は,同期状態の予測を方法論的に扱うためのディープラーニングフレームワークを採用する。 2つの時系列の同期状態を予測するタスクは、一般的には難しいが、ある種の在庫は、非常に良好な性能で達成できる。
  論文  参考訳（メタデータ） (2022-10-26T10:22:28Z)
• Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees [10.984101749941471]
  並列および分散最適化アルゴリズムの解析に現れる非同期反復に対する新しい収束結果を紹介する。 結果は簡単に適用でき、非同期の度合いが反復の収束率にどのように影響するかを明確に見積もることができる。
  論文  参考訳（メタデータ） (2021-09-09T19:08:56Z)
• Finite-Time Analysis for Double Q-learning [50.50058000948908]
  二重Q-ラーニングのための非漸近的有限時間解析を初めて提供する。 同期と非同期の二重Q-ラーニングの両方が,グローバル最適化の$epsilon$-accurate近辺に収束することが保証されていることを示す。
  論文  参考訳（メタデータ） (2020-09-29T18:48:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。