論文の概要: Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost

• arxiv url: http://arxiv.org/abs/2609.00193v1
• Date: Mon, 31 Aug 2026 18:11:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.937043
• Title: Provably Efficient Federated Reinforcement Learning with Linear Function Approximation and Logarithmic Communication Cost
• Title（参考訳）: 線形関数近似と対数通信コストを用いた有意なフェデレーション強化学習
• Abstract要約: 本稿では,線形関数近似を用いたオンライン強化学習のためのフェデレーションアルゴリズムであるFed-LSVIを提案する。 Fed-LSVI が $widetildemathcal O(sqrtMd3H4T)$,$d$ is the feature dimension, $H$ is the horizon length, $M$ is the number of agent, $T$ is the number of episodes per agent。
• 参考スコア（独自算出の注目度）: 8.364784160860653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study federated online reinforcement learning with linear function approximation. While recent multi-agent reinforcement learning algorithms achieve strong regret guarantees, they typically require sharing raw trajectories. This reliance incurs a communication cost that scales linearly with the number of episodes and violates the privacy constraints of federated settings. To address these limitations, we propose Fed-LSVI, the first provably efficient federated algorithm for online reinforcement learning with linear function approximation in episodic Markov decision processes. By integrating a determinant-based event-triggered synchronization with a stepwise backward update mechanism, Fed-LSVI enables agents to collaboratively learn an optimal policy by exchanging only compressed sufficient statistics. We prove that Fed-LSVI achieves a regret bound of $\widetilde{\mathcal O}(\sqrt{Md^3H^4T})$, where $d$ is the feature dimension, $H$ is the horizon length, $M$ is the number of agents, and $T$ is the number of episodes per agent, matching the best-known regret for multi-agent online reinforcement learning with linear function approximation. Moreover, by following the stringent communication and privacy constraints of the federated setting, Fed-LSVI reduces the communication cost to only logarithmic dependence on $T$, representing a significant improvement over prior methods.
• Abstract（参考訳）: 線形関数近似を用いたオンライン強化学習について検討した。 最近のマルチエージェント強化学習アルゴリズムは、強い後悔の保証を達成するが、通常は生の軌跡を共有する必要がある。 この依存は、エピソード数と線形にスケールする通信コストを発生させ、フェデレートされた設定のプライバシー制約に違反する。 これらの制約に対処するため,マルコフ決定過程における線形関数近似を用いたオンライン強化学習のためのフェデレーションアルゴリズムであるFed-LSVIを提案する。 行列に基づくイベントトリガー同期を段階的に後方更新機構と統合することにより、Fed-LSVIは、圧縮された十分な統計のみを交換することで、エージェントが最適なポリシーを協調的に学習することを可能にする。 Fed-LSVI が $\widetilde{\mathcal O}(\sqrt{Md^3H^4T})$, $d$ が特徴次元、$H$ が水平線長、$M$ がエージェント数、$T$ がエージェント数、$T$ がエージェント当たりのエピソード数であり、マルチエージェントオンライン強化学習においてよく知られた後悔と線形関数近似が一致することを証明している。 さらに、フェデレートされた設定の厳密な通信とプライバシの制約に従うことにより、Fed-LSVIは通信コストを$T$の対数依存だけに削減し、以前の方法よりも大幅に改善した。

関連論文リスト

• FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection [5.476264433576713]
  FedSLoPは効率的なフェデレート学習アルゴリズムである。 We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
  論文  参考訳（メタデータ） (2026-04-27T03:47:50Z)
• Near-Optimal Primal-Dual Algorithm for Learning Linear Mixture CMDPs with Adversarial Rewards [0.8984888893275712]
  有限-水平線形混合制約マルコフ決定過程における安全強化学習について検討する。 本稿では, 後悔と制約違反境界を実現するプリミティブ・デュアルポリシー最適化アルゴリズムを提案する。 これは、線形混合CMDPと逆効果を持つ最初の証明可能な効率のよいアルゴリズムである。
  論文  参考訳（メタデータ） (2026-03-29T21:51:33Z)
• Prioritizing Gradient Sign Over Modulus: An Importance-Aware Framework for Wireless Federated Learning [72.18619424901249]
  Sign-Prioritized FL (SP-FL) は、不均一なリソース割り当てを通じて重要な勾配情報の送信を優先するフレームワークである。 本稿では,Newton-Raphson 法と逐次凸近似 (SCA) を用いて,この問題を解決するための交互最適化アルゴリズムを提案する。 シミュレーションの結果,特に資源制約シナリオにおけるSP-FLの優位性が確認された。
  論文  参考訳（メタデータ） (2026-03-11T13:41:02Z)
• Gap-Dependent Bounds for Nearly Minimax Optimal Reinforcement Learning with Linear Function Approximation [13.370933509246568]
  ほぼ最小のアルゴリズムLSVI-UCB++に対して、最初のギャップ依存の後悔境界を提供する。 我々の分析では、以前のギャップ依存の結果と比較して、$d$と$H$の両方の依存性が改善されている。
  論文  参考訳（メタデータ） (2026-02-23T19:25:46Z)
• Rate optimal learning of equilibria from data [63.14746189846806]
  マルチエージェント・イミテーション・ラーニング(MAIL)における理論的ギャップは,非対話的MAILの限界を特徴づけ,ほぼ最適なサンプル複雑性を持つ最初の対話的アルゴリズムを提示することによって解決する。 インタラクティブな設定では、報酬のない強化学習と対話型MAILを組み合わせたフレームワークを導入し、それをMAIL-WARMというアルゴリズムでインスタンス化する。 我々は,我々の理論を裏付ける数値的な結果を提供し,グリッドワールドのような環境において,行動クローンが学習に失敗する状況を示す。
  論文  参考訳（メタデータ） (2025-10-10T12:28:35Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Achieving Dimension-Free Communication in Federated Learning via Zeroth-Order Optimization [15.73877955614998]
  本稿では,クライアント間のスカラー値を一定数送信することで,通信コストを$mathscrO(d)$から$mathscrO(d)$に削減する新しい通信アルゴリズムであるDeComFLを提案する。 古典的なディープラーニングトレーニングと大規模言語モデルの微調整の両方を含む経験的評価は、通信オーバーヘッドを大幅に削減することを示している。
  論文  参考訳（メタデータ） (2024-05-24T18:07:05Z)
• Federated Q-Learning: Linear Regret Speedup with Low Communication Cost [4.380110270510058]
  本稿では,FedQ-HoeffdingとFedQ-Bernsteinという2つの連合Qラーニングアルゴリズムを提案する。 時間的地平線が十分に大きい場合, 対応する全後悔は, 単エージェントと比較して直線的なスピードアップを達成することを示す。 これらの結果は、エージェントとサーバ間のイベントトリガー同期機構に依存します。
  論文  参考訳（メタデータ） (2023-12-22T19:14:09Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Pessimistic Nonlinear Least-Squares Value Iteration for Offline Reinforcement Learning [53.97335841137496]
  非線形関数近似を用いたオフラインRLにおけるPNLSVI(Pessimistic Least-Square Value Iteration)と呼ばれるオラクル効率のアルゴリズムを提案する。 本アルゴリズムは,関数クラスの複雑性に強く依存する後悔境界を享受し,線形関数近似に特化して最小限のインスタンス依存後悔を実現する。
  論文  参考訳（メタデータ） (2023-10-02T17:42:01Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• OFedQIT: Communication-Efficient Online Federated Learning via Quantization and Intermittent Transmission [7.6058140480517356]
  オンライン連合学習(OFL)は、分散ストリーミングデータから非線形関数(またはモデル)のシーケンスを協調的に学習する、有望なフレームワークである。 本稿では、量子化と断続伝送を用いた通信効率の高いOFLアルゴリズム(OFedQIT)を提案する。 分析の結果,OfedQITは優れた学習精度を維持しつつ,OfedAvgの欠点に対処できることがわかった。
  論文  参考訳（メタデータ） (2022-05-13T07:46:43Z)
• Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss [145.54544979467872]
  マルコフ決定過程(CMDP)に対するオンライン学習の検討 本稿では,遷移モデルから標本化した軌跡のみを必要とする,新しいEmphupper confidence primal-dualアルゴリズムを提案する。 我々の分析では、ラグランジュ乗算過程の新たな高確率ドリフト解析を、高信頼強化学習の記念後悔解析に組み入れている。
  論文  参考訳（メタデータ） (2020-03-02T05:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。