論文の概要: Scalable Decision-Making in Stochastic Environments through Learned Temporal Abstraction

• arxiv url: http://arxiv.org/abs/2502.21186v1
• Date: Fri, 28 Feb 2025 16:02:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:56.649928
• Title: Scalable Decision-Making in Stochastic Environments through Learned Temporal Abstraction
• Title（参考訳）: 学習した時間的抽象化による確率的環境におけるスケーラブルな意思決定
• Authors: Baiting Luo, Ava Pettet, Aron Laszka, Abhishek Dubey, Ayan Mukhopadhyay,
• Abstract要約: 高次元連続行動空間における決定-決定は、重要な計算課題に直面している。 textitLatent Macro Action Planner (L-MAP) を提案する。 L-MAPは、既存のモデルベースの手法よりも優れており、強力なモデルフリーアクタクティクスでオンパーを実行する。
• 参考スコア（独自算出の注目度）: 7.918703013303246
• License:
• Abstract: Sequential decision-making in high-dimensional continuous action spaces, particularly in stochastic environments, faces significant computational challenges. We explore this challenge in the traditional offline RL setting, where an agent must learn how to make decisions based on data collected through a stochastic behavior policy. We present \textit{Latent Macro Action Planner} (L-MAP), which addresses this challenge by learning a set of temporally extended macro-actions through a state-conditional Vector Quantized Variational Autoencoder (VQ-VAE), effectively reducing action dimensionality. L-MAP employs a (separate) learned prior model that acts as a latent transition model and allows efficient sampling of plausible actions. During planning, our approach accounts for stochasticity in both the environment and the behavior policy by using Monte Carlo tree search (MCTS). In offline RL settings, including stochastic continuous control tasks, L-MAP efficiently searches over discrete latent actions to yield high expected returns. Empirical results demonstrate that L-MAP maintains low decision latency despite increased action dimensionality. Notably, across tasks ranging from continuous control with inherently stochastic dynamics to high-dimensional robotic hand manipulation, L-MAP significantly outperforms existing model-based methods and performs on-par with strong model-free actor-critic baselines, highlighting the effectiveness of the proposed approach in planning in complex and stochastic environments with high-dimensional action spaces.
• Abstract（参考訳）: 高次元連続行動空間、特に確率的環境における逐次決定は、重要な計算課題に直面している。 我々は、エージェントが確率的行動ポリシーによって収集されたデータに基づいて意思決定方法を学ぶ必要がある従来のオフラインRL設定において、この課題を探求する。 本稿では、状態条件ベクトル量子変分オートエンコーダ(VQ-VAE)を用いて時間的に拡張されたマクロアクションの集合を学習し、この課題に対処する。 L-MAPは、遅延遷移モデルとして機能し、プラルーシブルアクションの効率的なサンプリングを可能にする(分離された)事前モデルを採用している。 提案手法は,モンテカルロ木探索 (MCTS) による環境・行動政策の両面において確率性を考慮したものである。 確率的連続制御タスクを含むオフラインRL設定では、L-MAPは離散潜在動作を効率よく探索し、高い期待値が得られる。 実験の結果,L-MAPは動作次元の増大にもかかわらず低判定遅延を維持していることがわかった。 特に,自然確率力学による連続制御から高次元ロボットハンド操作に至るまで,L-MAPは既存のモデルベース手法を著しく上回り,高次元動作空間を持つ複雑かつ確率的な環境において,提案手法の有効性を強調した。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
  我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。 我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
  論文  参考訳（メタデータ） (2024-02-29T15:36:01Z)
• SPO: Sequential Monte Carlo Policy Optimisation [41.52684912140086]
  SPO:Sequential Monte Carlo Policy optimizationを紹介する。 我々は,SPOがロバストな政策改善と効率的なスケーリング特性を提供することを示した。 モデルフリーおよびモデルベースラインと比較して,統計的に有意な性能向上を示す。
  論文  参考訳（メタデータ） (2024-02-12T10:32:47Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Model-free Motion Planning of Autonomous Agents for Complex Tasks in Partially Observable Environments [3.7660066212240753]
  部分的に知られている環境での自律エージェントの動作計画は難しい問題である。 本稿では,モデルのない強化学習手法を提案する。 提案手法は, 環境, 行動, 観測の不確実性に効果的に対処できることを示す。
  論文  参考訳（メタデータ） (2023-04-30T19:57:39Z)
• Sample-efficient Real-time Planning with Curiosity Cross-Entropy Method and Contrastive Learning [21.995159117991278]
  そこで我々はCuriosity CEMを提案する。Curiosity CEMはCEM(Cross-Entropy Method)アルゴリズムの改良版である。 提案手法は,計画地平線上の状態-作用Q値の総和を最大化し,これらのQ値が将来の外因性および内因性報酬を推定する。 DeepMind Controlスイートによるイメージベース連続制御タスクの実験では、CCEMは以前のMBRLアルゴリズムよりも大きなマージンでサンプリング効率が高いことが示されている。
  論文  参考訳（メタデータ） (2023-03-07T10:48:20Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。