論文の概要: Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2407.02217v1
• Date: Tue, 2 Jul 2024 12:32:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 15:35:30.780868
• Title: Physics-Informed Model and Hybrid Planning for Efficient Dyna-Style Reinforcement Learning
• Title（参考訳）: 効率的なダイナスタイル強化学習のための物理インフォームドモデルとハイブリッド計画
• Authors: Zakariae El Asri, Olivier Sigaud, Nicolas Thome,
• Abstract要約: 実世界のアプリケーションに強化学習を適用するには、パフォーマンス、サンプル効率、推論時間の間のトレードオフに対処する必要がある。 本研究では,システム力学の部分的な物理知識を活用することで,この3つの課題に対処する方法を実証する。
• 参考スコア（独自算出の注目度）: 20.938465516348177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Applying reinforcement learning (RL) to real-world applications requires addressing a trade-off between asymptotic performance, sample efficiency, and inference time. In this work, we demonstrate how to address this triple challenge by leveraging partial physical knowledge about the system dynamics. Our approach involves learning a physics-informed model to boost sample efficiency and generating imaginary trajectories from this model to learn a model-free policy and Q-function. Furthermore, we propose a hybrid planning strategy, combining the learned policy and Q-function with the learned model to enhance time efficiency in planning. Through practical demonstrations, we illustrate that our method improves the compromise between sample efficiency, time efficiency, and performance over state-of-the-art methods.
• Abstract（参考訳）: 実世界のアプリケーションに強化学習(RL)を適用するには、漸近的パフォーマンス、サンプル効率、推論時間の間のトレードオフに対処する必要がある。 本研究では,システム力学の部分的な物理知識を活用することで,この3つの課題に対処する方法を実証する。 提案手法では,サンプル効率を高めるために物理インフォームドモデルを学習し,このモデルから仮想軌道を生成し,モデルフリーポリシーとQ関数を学習する。 さらに,学習方針とQ-関数を学習モデルと組み合わせたハイブリッド計画戦略を提案し,計画の時間効率を向上させる。 実演を通して,本手法はサンプル効率,時間効率,最先端手法に対する性能の妥協性を向上することを示した。

関連論文リスト

• Meta-Gradient Search Control: A Method for Improving the Efficiency of Dyna-style Planning [8.552540426753]
  本稿では,Dynaスタイルのプランニング中に状態がクエリされる確率を調整可能な,オンラインのメタグラディエントアルゴリズムを提案する。 その結果,提案手法は計画プロセスの効率化を図っている。
  論文  参考訳（メタデータ） (2024-06-27T22:24:46Z)
• Simplified Temporal Consistency Reinforcement Learning [19.814047499837084]
  本稿では,潜時整合性によって訓練された潜時力学モデルに依存する単純な表現学習手法が,高性能なRLには十分であることを示す。 提案手法は,モデルフリー手法を大きなマージンで上回り,モデルベース手法のサンプル効率を2.4倍高速にトレーニングしながら比較する。
  論文  参考訳（メタデータ） (2023-06-15T19:37:43Z)
• Model-Based Reinforcement Learning with Multi-Task Offline Pretraining [59.82457030180094]
  本稿では,オフラインデータから新しいタスクへ,潜在的に有用なダイナミックスや動作デモを伝達するモデルベースRL法を提案する。 主な考え方は、世界モデルを行動学習のシミュレーターとしてだけでなく、タスクの関連性を測定するツールとして使うことである。 本稿では,Meta-WorldとDeepMind Control Suiteの最先端手法と比較して,我々のアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-06T02:24:41Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Model-Based Reinforcement Learning with SINDy [0.0]
  強化学習(RL)における物理系の非線形力学を規定する新しい手法を提案する。 本手法は,技術モデル学習アルゴリズムの状態よりもはるかに少ないトラジェクトリを用いて,基礎となるダイナミクスを発見することができることを確認した。
  論文  参考訳（メタデータ） (2022-08-30T19:03:48Z)
• Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
  我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。 我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
  論文  参考訳（メタデータ） (2022-05-20T07:02:03Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• Planning from Pixels using Inverse Dynamics Models [44.16528631970381]
  本稿では,タスク完了にともなう未来の行動の順序を学習することで,潜在世界モデルを学ぶ新しい方法を提案する。 本研究では,視覚目標達成タスクの課題に対する提案手法の評価を行い,従来のモデルフリー手法と比較して性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-12-04T06:07:36Z)
• Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning [72.18725551199842]
  BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。 虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。 提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-10-23T03:22:01Z)
• Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
  現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。 その微分可能性を利用してモデルをより効果的に活用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-16T19:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。