論文の概要: Robust Federated Q-Learning with Almost No Communication

• arxiv url: http://arxiv.org/abs/2609.20174v1
• Date: Mon, 24 Aug 2026 21:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 16:32:15.684309
• Title: Robust Federated Q-Learning with Almost No Communication
• Title（参考訳）: ほとんどコミュニケーションのないロバストなフェデレーションQ-Learning
• Abstract要約: 我々は、共通のマルコフ決定プロセス(MDP)と相互作用するM$エージェントを含む連合強化学習環境を考える。 本稿では,モデルベースとモデルフリーのRLの両方からアイデアをブレンドする,フェデレートされたQ-ラーニングアルゴリズムであるRobust Fed-Qを提案する。 高確率の汚職にもかかわらず、Robust Fed-Q (i) は無限サンプルの極限における最適値関数への正確な収束を保証する。
• 参考スコア（独自算出の注目度）: 2.3096751699592137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a federated reinforcement learning setting involving $M$ agents, all of whom interact with a common Markov Decision Process (MDP). The agents exchange information via a central server to learn the optimal value function. Our goal is to understand to what extent one can hope for collaborative sample-complexity speedups in such a setting, when a small fraction of the agents are adversarial and can act arbitrarily. To that end, we propose Robust Fed-Q}, a federated Q-learning algorithm that blends ideas from both model-based and model-free RL, along with the median-of-means device from robust statistics. We prove that despite corruption, with high-probability, Robust Fed-Q (i) guarantees exact convergence to the optimal value function in the limit of infinite samples, and (ii) enjoys near-optimal finite-time rates that benefit from collaboration. In addition, our approach requires just $\tilde{O}(1)$ rounds of communication to achieve each of the above guarantees, a feature of independent interest in FL where communication is the major bottleneck.
• Abstract（参考訳）: 我々は,共通マルコフ決定プロセス(MDP)と相互作用するエージェントをM$で提供する,連合強化学習環境について検討する。 エージェントは中央サーバを介して情報を交換し、最適な値関数を学習する。 我々のゴールは、少数のエージェントが敵対的であり、任意に振る舞うことができる場合、そのような環境で、どのようにして協調的なサンプル複雑さのスピードアップを期待できるかを理解することである。 そこで我々は,モデルベースとモデルフリーRLの両方のアイデアと,頑健な統計から得られた平均値のデバイスをブレンドする,連合型Q-ラーニングアルゴリズムであるRobust Fed-Q}を提案する。 我々は汚職にもかかわらず高い確率でロバストFed-Qを証明した i)無限サンプルの極限における最適値関数への厳密な収束を保証し、 (二)コラボレーションの恩恵を受ける最適に近い有限時間率を享受する。 さらに、上記の保証をそれぞれ達成するためには、通信が主要なボトルネックとなるFLにおける独立した関心の特徴である、わずか$\tilde{O}(1)$の通信ラウンドが必要である。

関連論文リスト

• Variance-Reduced Q-Learning over Static and Time-Varying Networks [4.451208288989834]
  我々はVRDQと呼ばれる新しいエポックベースの分散Q$ラーニングアルゴリズムを提案する。 サンプル複雑度におけるこのようなスピードアップには$tildeO(1)$の通信しか必要とせず、先行作業における通信コストを大幅に改善することを証明する。
  論文  参考訳（メタデータ） (2026-07-24T00:24:09Z)
• Statistical Limits and Efficient Algorithms for Differentially Private Federated Learning [3.8169847142355695]
  フェデレートラーニング(Federated Learning)は、MLとAIモデルを多数のユーザデバイスとデータベースで協調的にトレーニングするフレームワークである。 評価精度,プライバシ制約,通信コストのトレードオフについて検討した。
  論文  参考訳（メタデータ） (2026-05-18T17:01:34Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• A Secure and Private Distributed Bayesian Federated Learning Design [56.92336577799572]
  DFL(Distributed Federated Learning)は、中央パラメータサーバを持たない大規模システム間の分散モデルトレーニングを可能にする。 DFLは、3つの重要な課題に直面している: 正直な隣人からのプライバシー漏洩、中央調整の欠如による収束の遅さ、モデルの精度の低下を目指すビザンティンの敵に対する脆弱性。 本稿では,ビザンチンの堅牢性,プライバシー保護,収束促進を統合した新しいDFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-23T16:12:02Z)
• From Debate to Equilibrium: Belief-Driven Multi-Agent LLM Reasoning via Bayesian Nash Equilibrium [52.28048367430481]
  マルチエージェントフレームワークは、大規模言語モデル(LLM)の推論能力を高めることができるが、通常は計算コストと収束保証が欠如している。 我々は、不完全情報ゲームとしてマルチLLMコーディネーションをリキャストし、ベイズナッシュ均衡(BNE)を求める。 我々は、分散推論と集中的な最終出力を結合する階層的強化学習パラダイムである、Nash Equilibrium (ECON)による効率的なコーディネーションを導入する。
  論文  参考訳（メタデータ） (2025-06-09T23:49:14Z)
• Federated Q-Learning: Linear Regret Speedup with Low Communication Cost [4.380110270510058]
  本稿では,FedQ-HoeffdingとFedQ-Bernsteinという2つの連合Qラーニングアルゴリズムを提案する。 時間的地平線が十分に大きい場合, 対応する全後悔は, 単エージェントと比較して直線的なスピードアップを達成することを示す。 これらの結果は、エージェントとサーバ間のイベントトリガー同期機構に依存します。
  論文  参考訳（メタデータ） (2023-12-22T19:14:09Z)
• QFree: A Universal Value Function Factorization for Multi-Agent Reinforcement Learning [2.287186762346021]
  マルチエージェント強化学習のための共通値関数分解法QFreeを提案する。 汎用複雑なMARLベンチマーク環境において,QFreeが最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-11-01T08:07:16Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning [55.20040781688844]
  QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。 深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
  論文  参考訳（メタデータ） (2020-03-19T16:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。