論文の概要: Highway Graph to Accelerate Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.11727v1
• Date: Mon, 20 May 2024 02:09:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 14:33:17.413415
• Title: Highway Graph to Accelerate Reinforcement Learning
• Title（参考訳）: 強化学習を加速するハイウェイグラフ
• Authors: Zidu Yin, Zhen Zhang, Dong Gong, Stefano V. Albrecht, Javen Q. Shi,
• Abstract要約: 状態遷移をモデル化するための新しいグラフ構造であるハイウェイグラフを提案する。 ハイウェイグラフをRLに統合することにより、初期の段階でRLトレーニングを著しく加速させることができる。 ディープニューラルネットワークベースのエージェントは、ハイウェイグラフを使用してトレーニングされる。
• 参考スコア（独自算出の注目度）: 18.849312069946993
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) algorithms often suffer from low training efficiency. A strategy to mitigate this issue is to incorporate a model-based planning algorithm, such as Monte Carlo Tree Search (MCTS) or Value Iteration (VI), into the environmental model. The major limitation of VI is the need to iterate over a large tensor. These still lead to intensive computations. We focus on improving the training efficiency of RL algorithms by improving the efficiency of the value learning process. For the deterministic environments with discrete state and action spaces, a non-branching sequence of transitions moves the agent without deviating from intermediate states, which we call a highway. On such non-branching highways, the value-updating process can be merged as a one-step process instead of iterating the value step-by-step. Based on this observation, we propose a novel graph structure, named highway graph, to model the state transition. Our highway graph compresses the transition model into a concise graph, where edges can represent multiple state transitions to support value propagation across multiple time steps in each iteration. We thus can obtain a more efficient value learning approach by facilitating the VI algorithm on highway graphs. By integrating the highway graph into RL (as a model-based off-policy RL method), the RL training can be remarkably accelerated in the early stages (within 1 million frames). Comparison against various baselines on four categories of environments reveals that our method outperforms both representative and novel model-free and model-based RL algorithms, demonstrating 10 to more than 150 times more efficiency while maintaining an equal or superior expected return, as confirmed by carefully conducted analyses. Moreover, a deep neural network-based agent is trained using the highway graph, resulting in better generalization and lower storage costs.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムは訓練効率の低下に悩まされることが多い。 この問題を緩和するための戦略は、モンテカルロ木探索(MCTS)や価値反復(VI)といったモデルベースの計画アルゴリズムを環境モデルに組み込むことである。 VIの最大の制限は、大きなテンソルを反復する必要があることである。 これらはいまだに集中的な計算に繋がる。 本稿では,RLアルゴリズムの学習効率を向上させることにより,RLアルゴリズムの学習効率を向上させることに注力する。 離散状態と作用空間を持つ決定論的環境において、遷移の非分岐列は中間状態から逸脱することなくエージェントを移動させ、これをハイウェイと呼ぶ。 このような非分岐ハイウェイでは、値更新プロセスは1ステップのプロセスとしてマージすることができる。 そこで本研究では,状態遷移をモデル化するための新しいグラフ構造であるハイウェイグラフを提案する。 我々のハイウェイグラフは遷移モデルを簡潔なグラフに圧縮し、エッジは複数の状態遷移を表現し、各イテレーションで複数の時間ステップで値の伝搬をサポートする。 これにより、ハイウェイグラフ上でのVIアルゴリズムの促進により、より効率的な価値学習手法を得ることができる。 ハイウェイグラフをRL(モデルに基づくオフポリシーRL法)に統合することにより、初期の段階(100万フレーム)においてRLトレーニングを著しく加速することができる。 その結果,提案手法はモデルフリー・モデルベースRLアルゴリズムとモデルフリー・モデルベースRLアルゴリズムの両方に優れており,同等あるいは優れたリターンを維持しつつ10～150倍以上の効率性を示した。 さらに、ディープニューラルネットワークベースのエージェントをハイウェイグラフを使用してトレーニングすることで、より一般化とストレージコストの低減を実現している。

関連論文リスト

• Preventing Local Pitfalls in Vector Quantization via Optimal Transport [77.15924044466976]
  我々はシンクホーンアルゴリズムを用いて最適な輸送問題を最適化する新しいベクトル量子化法であるOptVQを紹介する。 画像再構成タスクの実験では,OptVQが100%のコードブック利用を実現し,現在最先端のVQNを超越していることが示された。
  論文  参考訳（メタデータ） (2024-12-19T18:58:14Z)
• DeMo: Decoupled Momentum Optimization [6.169574689318864]
  大規模ニューラルネットワークのトレーニングは通常、特別な高速相互接続を通じてアクセラレータ間の共有を必要とする。 本稿では,bfDecoupled textbfMomentum (DeMo)を提案する。 実験の結果,DeMoでトレーニングしたモデルとAdamWでトレーニングした同等のモデルのパフォーマンスが一致したか,あるいは上回った。
  論文  参考訳（メタデータ） (2024-11-29T17:31:47Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Efficient Neural Network Approaches for Conditional Optimal Transport with Applications in Bayesian Inference [1.740133468405535]
  静的および条件付き最適輸送(COT)問題の解を近似する2つのニューラルネットワークアプローチを提案する。 我々は、ベンチマークデータセットとシミュレーションに基づく逆問題を用いて、両アルゴリズムを競合する最先端のアプローチと比較する。
  論文  参考訳（メタデータ） (2023-10-25T20:20:09Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• ADLight: A Universal Approach of Traffic Signal Control with Augmented Data Using Reinforcement Learning [3.3458830284045065]
  本稿では,拡張データ(ADLight)を用いた新しい強化学習手法を提案する。 一般化性能を向上させるために,textitmovement shuffle という新しいデータ拡張手法を開発した。 その結果,本手法の性能は,単一環境で訓練されたモデルに近いことがわかった。
  論文  参考訳（メタデータ） (2022-10-24T16:21:48Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Efficient Neural Network Training via Forward and Backward Propagation Sparsification [26.301103403328312]
  本研究では, 完全スパース前方・後方パスを用いた効率的なスパーストレーニング手法を提案する。 私たちのアルゴリズムは、トレーニングプロセスを最大で桁違いに高速化する上で、はるかに効果的です。
  論文  参考訳（メタデータ） (2021-11-10T13:49:47Z)
• A Deep Value-network Based Approach for Multi-Driver Order Dispatching [55.36656442934531]
  そこで本研究では,注文発送のための深層強化学習に基づくソリューションを提案する。 DiDiの配車プラットフォーム上で大規模なオンラインA/Bテストを実施している。 その結果,CVNetは近年提案されているディスパッチ手法よりも一貫して優れていた。
  論文  参考訳（メタデータ） (2021-06-08T16:27:04Z)
• PlayVirtual: Augmenting Cycle-Consistent Virtual Trajectories for Reinforcement Learning [84.30765628008207]
  本稿では,RL特徴表現学習におけるデータ効率を向上させるために,サイクル一貫性のある仮想トラジェクトリを付加するPlayVirtualという新しい手法を提案する。 本手法は,両ベンチマークにおいて,最先端の手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2021-06-08T07:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。