論文の概要: Variance-Reduced Q-Learning over Static and Time-Varying Networks

• arxiv url: http://arxiv.org/abs/2607.21876v1
• Date: Fri, 24 Jul 2026 00:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.015114
• Title: Variance-Reduced Q-Learning over Static and Time-Varying Networks
• Title（参考訳）: 静的・時間変化ネットワーク上での分散学習Q-Learning
• Abstract要約: 我々はVRDQと呼ばれる新しいエポックベースの分散Q$ラーニングアルゴリズムを提案する。 サンプル複雑度におけるこのようなスピードアップには$tildeO(1)$の通信しか必要とせず、先行作業における通信コストを大幅に改善することを証明する。
• 参考スコア（独自算出の注目度）: 4.451208288989834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate a decentralized reinforcement learning problem involving multiple agents that interact with the same Markov Decision Process (MDP). The agents can exchange information over a network to collectively learn the optimal state-action value function. For this setting, we introduce a novel epoch-based distributed $Q$-learning algorithm called VRDQ, where within each epoch, agents locally estimate the Bellman optimality operator and diffuse information using a consensus-based protocol. For both static and time-varying networks, we establish high-probability finite-time convergence rates for VRDQ that enjoy linear speedups from collaboration. Crucially, we prove that such speedups in sample-complexity require only $\tilde{O}(1)$ communication, substantially improving upon the communication costs in prior work.
• Abstract（参考訳）: 我々は,同じマルコフ決定プロセス(MDP)と相互作用する複数のエージェントを含む分散強化学習問題について検討する。 エージェントは、ネットワークを介して情報を交換して、最適な状態-作用値関数を集合的に学習することができる。 そこで本研究では,各エポック内のエージェントがベルマン最適度演算子を局所的に推定し,コンセンサスベースのプロトコルを用いて情報を拡散する,新しいエポックベースの分散Q$学習アルゴリズムであるVRDQを紹介する。 静的および時間変化の両ネットワークに対して、協調による線形スピードアップを楽しむVRDQに対して、高確率有限時間収束率を確立する。 重要なこととして, サンプル複雑度におけるこのような高速化には$\tilde{O}(1)$の通信しか必要とせず, 先行作業における通信コストを大幅に改善する。

関連論文リスト

• The Sample-Communication Complexity Trade-off in Federated Q-Learning [31.644851830271755]
  広範に使われている間欠的通信アルゴリズムにおけるサンプルと通信複雑性のトレードオフについて検討する。 我々は、注文最適サンプルと通信の複雑さを同時に達成する最初のフェデレーションQ-ラーニングアルゴリズムであるFed-DVR-Qを提案する。
  論文  参考訳（メタデータ） (2024-08-30T03:03:03Z)
• Federated Q-Learning with Reference-Advantage Decomposition: Almost Optimal Regret and Logarithmic Communication Cost [4.895986534376972]
  本稿では,FedQ-Advantageと呼ばれる新しいモデルフリーなフェデレーションQ-ラーニングアルゴリズムを提案する。 我々のアルゴリズムは対数通信コストを低くするだけでなく、時間的地平線が十分に大きい場合と比較して、対数係数に縛られた情報とほぼ直線的後悔のスピードアップに到達して、ほぼ最適の後悔を達成する。
  論文  参考訳（メタデータ） (2024-05-29T06:26:52Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• Federated Q-Learning: Linear Regret Speedup with Low Communication Cost [4.380110270510058]
  本稿では,FedQ-HoeffdingとFedQ-Bernsteinという2つの連合Qラーニングアルゴリズムを提案する。 時間的地平線が十分に大きい場合, 対応する全後悔は, 単エージェントと比較して直線的なスピードアップを達成することを示す。 これらの結果は、エージェントとサーバ間のイベントトリガー同期機構に依存します。
  論文  参考訳（メタデータ） (2023-12-22T19:14:09Z)
• The Blessing of Heterogeneity in Federated Q-Learning: Linear Speedup and Beyond [44.43850105124659]
  地域データだけで訓練された局所的なQ-推定を周期的に集約することで、最適なQ-関数を学習することを目的とした、連合型Q-ラーニングについて考察する。 フェデレートされたQ-ラーニングの同期型と非同期型の両方に対して,複雑性の保証を行う。 本稿では,より頻繁に訪れる状態-行動ペアに対して,重み付けを重要視する新しいQ-ラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:18:59Z)
• Federated Temporal Difference Learning with Linear Function Approximation under Environmental Heterogeneity [44.2308932471393]
  モデル推定の交換により,エージェント数の線形収束速度が向上することを示す。 低ヘテロジニティ系では、モデル推定を交換すると、エージェントの数で線形収束速度が向上する。
  論文  参考訳（メタデータ） (2023-02-04T17:53:55Z)
• Optimization of Image Transmission in a Cooperative Semantic Communication Networks [68.2233384648671]
  画像伝送のためのセマンティック通信フレームワークを開発した。 サーバは、セマンティックコミュニケーション技術を用いて、画像の集合を協調的にユーザへ送信する。 抽出した意味情報と原画像との相関関係を測定するために,マルチモーダル・メトリックを提案する。
  論文  参考訳（メタデータ） (2023-01-01T15:59:13Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。