論文の概要: Highway Graph to Accelerate Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2405.11727v2
• Date: Tue, 07 Jan 2025 15:26:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:47:10.862888
• Title: Highway Graph to Accelerate Reinforcement Learning
• Title（参考訳）: 強化学習を加速するハイウェイグラフ
• Authors: Zidu Yin, Zhen Zhang, Dong Gong, Stefano V. Albrecht, Javen Q. Shi,
• Abstract要約: 強化学習アルゴリズムは訓練効率の低下に苦慮することが多い。 状態遷移をモデル化するためのハイウェイグラフを導入する。 提案手法は,既存のRLアルゴリズムよりもはるかに高速に学習する。
• 参考スコア（独自算出の注目度）: 18.849312069946993
• License:
• Abstract: Reinforcement Learning (RL) algorithms often struggle with low training efficiency. A common approach to address this challenge is integrating model-based planning algorithms, such as Monte Carlo Tree Search (MCTS) or Value Iteration (VI), into the environmental model. However, VI requires iterating over a large tensor which updates the value of the preceding state based on the succeeding state through value propagation, resulting in computationally intensive operations. To enhance the RL training efficiency, we propose improving the efficiency of the value learning process. In deterministic environments with discrete state and action spaces, we observe that on the sampled empirical state-transition graph, a non-branching sequence of transitions-termed a highway-can take the agent to another state without deviation through intermediate states. On these non-branching highways, the value-updating process can be streamlined into a single-step operation, eliminating the need for step-by-step updates. Building on this observation, we introduce the highway graph to model state transitions. The highway graph compresses the transition model into a compact representation, where edges can encapsulate multiple state transitions, enabling value propagation across multiple time steps in a single iteration. By integrating the highway graph into RL, the training process is significantly accelerated, particularly in the early stages of training. Experiments across four categories of environments demonstrate that our method learns significantly faster than established and state-of-the-art RL algorithms (often by a factor of 10 to 150) while maintaining equal or superior expected returns. Furthermore, a deep neural network-based agent trained using the highway graph exhibits improved generalization capabilities and reduced storage costs. Code is publicly available at https://github.com/coodest/highwayRL.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムは訓練効率の低下に悩むことが多い。 この課題に対処するための一般的なアプローチは、MCTS(Monte Carlo Tree Search)やVI(Value Iteration)といったモデルベースの計画アルゴリズムを環境モデルに統合することである。 しかし、VI は、先行状態の値を値伝播によって更新する大きなテンソルを反復し、計算集約的な演算を行う必要がある。 本稿では,RL学習効率を向上させるために,価値学習プロセスの効率化を提案する。 離散状態と行動空間を持つ決定論的環境においては,中間状態の偏差を伴わずにエージェントを他の状態へ移動させることができる遷移の非分岐列である経験的状態遷移グラフが観察される。 これらの非分岐ハイウェイでは、価値更新プロセスが1ステップの操作に合理化され、ステップバイステップの更新が不要になる。 この観測に基づいて、状態遷移をモデル化するハイウェイグラフを導入する。 ハイウェイグラフは遷移モデルをコンパクトな表現に圧縮し、エッジは複数の状態遷移をカプセル化でき、1回のイテレーションで複数の時間ステップで値の伝搬を可能にする。 ハイウェイグラフをRLに統合することにより、トレーニングプロセスは、特にトレーニングの初期段階において、大幅に加速される。 4つのカテゴリの環境に対する実験により、我々の手法は確立されたRLアルゴリズムや最先端のRLアルゴリズム(しばしば10～150倍)よりもはるかに高速に学習し、同等あるいは優れたリターンを維持できることを示した。 さらに、ハイウェイグラフを使用してトレーニングされたディープニューラルネットワークベースのエージェントは、一般化機能の改善とストレージコストの削減を示す。 コードはhttps://github.com/coodest/highwayRLで公開されている。

関連論文リスト

• Efficient and Effective Implicit Dynamic Graph Neural Network [42.49148111696576]
  Indicit Dynamic Graph Neural Network (IDGNN) は動的グラフのための新しい暗黙的ニューラルネットワークである。 IDGNNの鍵となる特徴は、それが実証的に良好である、すなわち、固定点表現を持つことが理論的に保証されていることである。
  論文  参考訳（メタデータ） (2024-06-25T19:07:21Z)
• X-RLflow: Graph Reinforcement Learning for Neural Network Subgraphs Transformation [0.0]
  グラフスーパー最適化システムは、最適な計算グラフ構造を見つけるために、ニューラルネットワークへのサブグラフ置換のシーケンスを実行する。 提案手法は,多種多様なディープラーニングモデルにおいて最先端の超最適化システムより優れており,トランスフォーマースタイルのアーキテクチャをベースとしたシステムでは最大40%の精度で実現可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-28T09:06:18Z)
• ADLight: A Universal Approach of Traffic Signal Control with Augmented Data Using Reinforcement Learning [3.3458830284045065]
  本稿では,拡張データ(ADLight)を用いた新しい強化学習手法を提案する。 一般化性能を向上させるために,textitmovement shuffle という新しいデータ拡張手法を開発した。 その結果,本手法の性能は,単一環境で訓練されたモデルに近いことがわかった。
  論文  参考訳（メタデータ） (2022-10-24T16:21:48Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Efficient Neural Network Training via Forward and Backward Propagation Sparsification [26.301103403328312]
  本研究では, 完全スパース前方・後方パスを用いた効率的なスパーストレーニング手法を提案する。 私たちのアルゴリズムは、トレーニングプロセスを最大で桁違いに高速化する上で、はるかに効果的です。
  論文  参考訳（メタデータ） (2021-11-10T13:49:47Z)
• Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
  グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。 凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。 提案手法のパラメータはエンドツーエンドでトレーニング可能である。
  論文  参考訳（メタデータ） (2021-06-30T08:57:01Z)
• Accurate, Efficient and Scalable Training of Graph Neural Networks [9.569918335816963]
  グラフニューラルネットワーク(GNN)は、グラフ上にノード埋め込みを生成する強力なディープラーニングモデルである。 効率的でスケーラブルな方法でトレーニングを実行することは依然として困難です。 本稿では,最先端のミニバッチ手法と比較して,トレーニング負荷を桁違いに削減する新しい並列トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-05T22:06:23Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。