論文の概要: Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens

• arxiv url: http://arxiv.org/abs/2409.09513v1
• Date: Sat, 14 Sep 2024 19:30:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 20:27:38.564251
• Title: Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
• Title（参考訳）: プランニング変換器:プランニングトークンを用いた長軸オフライン強化学習
• Authors: Joseph Clinton, Robert Lieck,
• Abstract要約: 本稿では,エージェントの将来について,高レベルかつ長期にわたる情報を含むプランニングトークンについて紹介する。 計画トークンは、解釈可能な計画視覚化とアテンションマップを通じて、モデルのポリシーの解釈可能性を向上させることを実証する。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Supervised learning approaches to offline reinforcement learning, particularly those utilizing the Decision Transformer, have shown effectiveness in continuous environments and for sparse rewards. However, they often struggle with long-horizon tasks due to the high compounding error of auto-regressive models. To overcome this limitation, we go beyond next-token prediction and introduce Planning Tokens, which contain high-level, long time-scale information about the agent's future. Predicting dual time-scale tokens at regular intervals enables our model to use these long-horizon Planning Tokens as a form of implicit planning to guide its low-level policy and reduce compounding error. This architectural modification significantly enhances performance on long-horizon tasks, establishing a new state-of-the-art in complex D4RL environments. Additionally, we demonstrate that Planning Tokens improve the interpretability of the model's policy through the interpretable plan visualisations and attention map.
• Abstract（参考訳）: オフライン強化学習(特にDecision Transformerを利用した)に対する教師付き学習アプローチは、継続的な環境やスパース報酬に有効であることを示した。 しかし、彼らはしばしば自己回帰モデルの複合誤差が高いため、長い水平タスクに苦しむ。 この制限を克服するために,我々は,エージェントの将来について,高レベルかつ長期にわたる情報を含むプランニングトークンを導入する。 一定間隔で2つの時間スケールトークンを予測することにより、これらの長期計画トークンを暗黙の計画形式として使用し、低レベルポリシーを導出し、複合エラーを低減することができる。 このアーキテクチャ変更により、長い水平タスクのパフォーマンスが大幅に向上し、複雑なD4RL環境における新しい最先端技術が確立される。 さらに、計画トークンは、解釈可能な計画可視化とアテンションマップを通じて、モデルのポリシーの解釈可能性を向上させることを実証する。

関連論文リスト

• Navigation with QPHIL: Quantizing Planner for Hierarchical Implicit Q-Learning [17.760679318994384]
  空間の学習量化器を利用する階層型トランスフォーマーに基づく新しい手法を提案する。 この量子化により、より単純なゾーン条件の低レベルポリシーのトレーニングが可能になり、計画が簡単になる。 提案手法は,複雑な長距離ナビゲーション環境における最先端の成果を実現する。
  論文  参考訳（メタデータ） (2024-11-12T12:49:41Z)
• Diffusion Meets Options: Hierarchical Generative Skill Composition for Temporally-Extended Tasks [12.239868705130178]
  線形時間論理(LTL)によって規定された命令に基づいて計画の生成と更新を行うデータ駆動階層型フレームワークを提案する。 提案手法は,オフラインの非専門家データセットから階層的強化学習を用いて,時間的タスクを選択肢の連鎖に分解する。 バッチ生成における行列誘導後サンプリング手法を考案し,拡散生成オプションの速度と多様性を向上する。
  論文  参考訳（メタデータ） (2024-10-03T11:10:37Z)
• Adaptive Planning with Generative Models under Uncertainty [20.922248169620783]
  生成モデルによる計画は、幅広い領域にわたる効果的な意思決定パラダイムとして現れてきた。 最新の環境観測に基づいて決定を下すことができるため、各段階での継続的再計画は直感的に思えるかもしれないが、かなりの計算上の課題をもたらす。 本研究は,長軸状態軌跡を予測できる生成モデルの能力を活用する,シンプルな適応計画手法を導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2024-08-02T18:07:53Z)
• Refining Diffusion Planner for Reliable Behavior Synthesis by Automatic Detection of Infeasible Plans [25.326624139426514]
  拡散に基づくプランニングは、長期のスパースリワードタスクにおいて有望な結果を示している。 しかし、生成モデルとしての性質のため、拡散モデルは実現可能な計画を生成することが保証されない。 本稿では,拡散モデルが生成する信頼できない計画を改善するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T10:35:42Z)
• Compositional Foundation Models for Hierarchical Planning [52.18904315515153]
  本稿では,言語,視覚,行動データを個別に訓練し,長期的課題を解決するための基礎モデルを提案する。 我々は,大規模なビデオ拡散モデルを用いて,環境に根ざした記号的計画を構築するために,大規模言語モデルを用いている。 生成したビデオプランは、生成したビデオからアクションを推論する逆ダイナミクスモデルを通じて、視覚運動制御に基礎を置いている。
  論文  参考訳（メタデータ） (2023-09-15T17:44:05Z)
• Improving Long-Horizon Imitation Through Instruction Prediction [93.47416552953075]
  本研究では、しばしば使われない補助的監督源である言語の使用について検討する。 近年のトランスフォーマーモデルの発展にインスパイアされたエージェントは,高レベルの抽象化で動作する時間拡張表現の学習を促す命令予測損失を持つエージェントを訓練する。 さらなる分析では、複雑な推論を必要とするタスクにおいて、命令モデリングが最も重要であり、単純な計画を必要とする環境において、より小さなゲインを提供する。
  論文  参考訳（メタデータ） (2023-06-21T20:47:23Z)
• Efficient Learning of High Level Plans from Play [57.29562823883257]
  本稿では,移動計画と深いRLを橋渡しするロボット学習のフレームワークであるELF-Pについて紹介する。 ELF-Pは、複数の現実的な操作タスクよりも、関連するベースラインよりもはるかに優れたサンプル効率を有することを示す。
  論文  参考訳（メタデータ） (2023-03-16T20:09:47Z)
• Visual Learning-based Planning for Continuous High-Dimensional POMDPs [81.16442127503517]
  Visual Tree Search (VTS)は、オフラインで学習した生成モデルとオンラインモデルベースのPOMDP計画を組み合わせた学習と計画の手順である。 VTSは、モンテカルロの木探索プランナーにおける画像観測の可能性を予測し評価するために、一連の深部生成観測モデルを利用することで、オフラインモデルトレーニングとオンラインプランニングを橋渡しする。 VTSは、異なる観測ノイズに対して堅牢であり、オンラインのモデルベースプランニングを利用するため、再トレーニングを必要とせずに、異なる報酬構造に適応できることを示す。
  論文  参考訳（メタデータ） (2021-12-17T11:53:31Z)
• Model-Based Reinforcement Learning via Latent-Space Collocation [110.04005442935828]
  我々は、行動だけでなく、状態の順序を計画することで、長期的タスクの解決がより容易であると主張する。 我々は、学習された潜在状態空間モデルを利用して、画像に基づく設定に最適な制御文献における長い水平タスクに対する良い結果を示すコロケーションの概念を適応させる。
  論文  参考訳（メタデータ） (2021-06-24T17:59:18Z)
• Temporal Predictive Coding For Model-Based Planning In Latent Space [80.99554006174093]
  時間的に予測可能な環境要素を符号化するために,時間的予測符号化を用いた情報理論的手法を提案する。 本稿では,DMControl タスクの背景を複雑な情報を含む自然なビデオに置き換える,標準的な DMControl タスクの挑戦的な修正について評価する。
  論文  参考訳（メタデータ） (2021-06-14T04:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。