論文の概要: Federated Reinforcement Learning: Techniques, Applications, and Open Challenges

• arxiv url: http://arxiv.org/abs/2108.11887v1
• Date: Thu, 26 Aug 2021 16:22:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 15:56:49.824678
• Title: Federated Reinforcement Learning: Techniques, Applications, and Open Challenges
• Title（参考訳）: フェデレーション強化学習:技術、応用、オープンチャレンジ
• Authors: Jiaju Qi, Qihao Zhou, Lei Lei, Kan Zheng
• Abstract要約: 連合強化学習(FRL)は、強化学習(RL)における新興かつ有望な分野である FRLアルゴリズムは、水平連邦強化学習(HFRL)と垂直連邦強化学習(VFRL)の2つのカテゴリに分けられる。
• 参考スコア（独自算出の注目度）: 4.749929332500373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a comprehensive survey of Federated Reinforcement Learning (FRL), an emerging and promising field in Reinforcement Learning (RL). Starting with a tutorial of Federated Learning (FL) and RL, we then focus on the introduction of FRL as a new method with great potential by leveraging the basic idea of FL to improve the performance of RL while preserving data-privacy. According to the distribution characteristics of the agents in the framework, FRL algorithms can be divided into two categories, i.e. Horizontal Federated Reinforcement Learning (HFRL) and Vertical Federated Reinforcement Learning (VFRL). We provide the detailed definitions of each category by formulas, investigate the evolution of FRL from a technical perspective, and highlight its advantages over previous RL algorithms. In addition, the existing works on FRL are summarized by application fields, including edge computing, communication, control optimization, and attack detection. Finally, we describe and discuss several key research directions that are crucial to solving the open problems within FRL.
• Abstract（参考訳）: 本稿では,強化学習(RL)の創発的かつ有望な分野であるフェデレーション強化学習(FRL)の包括的調査について述べる。 フェデレートラーニング(FL)とRLのチュートリアルから始め,データプライバシーを維持しながら,FLの基本的概念を活用してRLの性能を向上させる新たな手法としてFRLを導入することに焦点をあてる。 フレームワーク内のエージェントの分布特性により、FRLアルゴリズムは2つのカテゴリ、すなわち2つのカテゴリに分けられる。 水平連邦強化学習(HFRL)と垂直連邦強化学習(VFRL)。 式による各カテゴリの詳細な定義を提供し、技術的観点からFRLの進化を調査し、従来のRLアルゴリズムよりもその優位性を強調する。 さらに、FRLに関する既存の研究は、エッジコンピューティング、通信、制御最適化、攻撃検出などのアプリケーションによって要約されている。 最後に、FRL内のオープンな問題の解決に不可欠であるいくつかの重要な研究の方向性を説明し、議論する。

関連論文リスト

• Advances in Preference-based Reinforcement Learning: A Review [1.474723404975345]
  嗜好に基づく強化学習(PbRL)は、人間の嗜好を数値的な報酬ではなく専門家からのフィードバックとして利用する。 我々はPbRLのスケーラビリティと効率を向上させる新しいアプローチを含む統一されたPbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-21T18:57:12Z)
• Federated Representation Learning in the Under-Parameterized Regime [10.551397415936309]
  フェデレート・表現学習(FRL)は、クライアントが共通の表現をトレーニングし、パーソナライズされた頭を維持しながら連携する、パーソナライズド・フェデレーション・ラーニング(FL)フレームワークである。 本稿では、新しいFRLアルゴリズムFLUTEを提案し、線形モデルに対するサンプルの複雑さと収束率を理論的に特徴づける。 実験により、FLUTEは、合成タスクと実世界のタスクの両方において、最先端のFRLソリューションよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-06-07T03:00:07Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Reinforcement Learning-assisted Evolutionary Algorithm: A Survey and Research Opportunities [63.258517066104446]
  進化的アルゴリズムの構成要素として統合された強化学習は,近年,優れた性能を示している。 本稿では,RL-EA 統合手法,RL-EA が採用する RL-EA 支援戦略,および既存文献による適用について論じる。 RL-EAセクションの適用例では、RL-EAのいくつかのベンチマークおよび様々な公開データセットにおける優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-25T15:06:05Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Optimal Goal-Reaching Reinforcement Learning via Quasimetric Learning [73.80728148866906]
  準メトリック強化学習(QRL)は、準メトリックモデルを用いて最適な値関数を学習する新しいRL法である。 オフラインおよびオンラインの目標達成ベンチマークでは、QRLはサンプル効率とパフォーマンスが改善されている。
  論文  参考訳（メタデータ） (2023-04-03T17:59:58Z)
• Understanding Reinforcement Learning Algorithms: The Progress from Basic Q-learning to Proximal Policy Optimization [0.6091702876917281]
  強化学習(RL)にはユニークな設定、用語、数学があり、新しい分野や人工知能を脅かすことができる。 本稿では、RLの基本原理を明確かつ簡潔に概説し、RLアルゴリズムの異なるタイプについて述べる。 論文の提示は、1980年代初頭のQ-ラーニングアルゴリズムから、TD3、PPO、オフラインRLといった最先端のアルゴリズムまで、この分野の歴史的進歩と一致している。
  論文  参考訳（メタデータ） (2023-03-31T17:24:51Z)
• Local Environment Poisoning Attacks on Federated Reinforcement Learning [1.5020330976600738]
  フェデレートラーニング(FL)は、従来の強化ラーニング(RL)タスクを解決する一般的なツールとなっている。 フェデレートされたメカニズムは、トレーニングされたポリシーを誤解させる可能性のある悪意のあるエージェントによる毒殺システムを公開する。 本稿では、FRL中毒を最適化問題として特徴付けるための一般的な枠組みを提案し、政策に基づくFRLに適用可能な中毒プロトコルを設計する。
  論文  参考訳（メタデータ） (2023-03-05T17:44:23Z)
• Jump-Start Reinforcement Learning [68.82380421479675]
  本稿では、オフラインデータやデモ、あるいは既存のポリシーを使ってRLポリシーを初期化するメタアルゴリズムを提案する。 特に,タスク解決に2つのポリシーを利用するアルゴリズムであるJump-Start Reinforcement Learning (JSRL)を提案する。 実験により、JSRLは既存の模倣と強化学習アルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:25:22Z)
• RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
  我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。 画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。 スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
  論文  参考訳（メタデータ） (2021-06-04T03:08:43Z)
• Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network [7.5377621697101205]
  本研究では,2ホップ協調型中継ネットワークにおいて,送信電力の制約を考慮に入れた停止確率最小化問題について検討する。 我々は、リレー選択と配電のための戦略を学ぶために強化学習(RL)手法を用いる。 階層型強化学習(HRL)フレームワークとトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-10T04:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。