論文の概要: Latent Imagination for Parameterized Action Spaces
- arxiv url: http://arxiv.org/abs/2611.15744v1
- Date: Wed, 11 Nov 2026 17:25:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.203615
- Title: Latent Imagination for Parameterized Action Spaces
- Title(参考訳): パラメータ化された行動空間に対する潜在イマジネーション
- Abstract要約: モデルに基づくエージェントであるHyLIを導入し、世界モデルの潜在的想像力において、ハイブリッドポリシーを完全に学習する。
7つの標準PAMDPベンチマークにおいて、HyLIは最も強力なモデルフリーベースラインの標準偏差以上の1つの標準偏差の範囲内にある。
提案手法は, ベースラインよりもサンプリング効率が高く, リアルタイム制御に十分高速な手法である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameterized-action MDPs (PAMDPs) ask an agent to choose a discrete action together with continuous parameters whose meaning depends on that choice. Model-free PAMDP methods act fast but need many interactions; model-based methods are sample-efficient but plan at every decision, which makes them slow to act. We introduce HyLI (Hybrid Latent Imagination), a model-based agent that learns a hybrid policy entirely in the latent imagination of a world model and acts with a single forward pass. To address learning problems that the PAMDP structure creates, HyLI adds counterfactual mode evaluation, which gives every discrete action a learning signal at every imagined state, and success-window replay, which keeps rare successes in training. On seven standard PAMDP benchmarks, HyLI is within one published standard deviation of, or above, the published score of the strongest model-free baseline in our comparison on all 7 tasks, reaches 90% of that score with 2.4x fewer environment steps than that baseline (5.0x when its reward-free pre-training is counted), and decides 67x faster than the model-based planner DLPA at its published planner settings. It is the only method in our comparison that is both more sample-efficient than that baseline and fast enough for real-time control.
- Abstract(参考訳): パラメータ化アクション MDP (PAMDPs) は、エージェントに、その選択に依存する連続パラメータとともに、個別のアクションを選択するよう要求する。
モデルフリーのPAMDPメソッドは高速に動作しますが、多くのインタラクションが必要です。
本稿では,HyLI(Hybrid Latent Imagination)を紹介した。HyLI(Hybrid Latent Imagination,Hybrid Latent Imagination,Hybrid Latent Imagination,Hybrid Latent Imagination,Hybrid Latent Imagination,Hybrid Imagination,Hybrid Imagination,HyLI,HyLI,HyLI,HyLI,HyLI,Hybrid Imagination,Hybrid Latent Imagination)について述べる。
PAMDP構造が生み出す学習問題に対処するため、HyLIは反ファクトモードの評価を追加し、全ての離散的な行動に、想像される全ての状態における学習信号を与える。
7つの標準PAMDPベンチマークでは、HyLIは1つの標準偏差(以上)の範囲内で、我々の7つのタスクの比較において最強のモデルフリーベースラインのスコアが公表され、そのスコアの90%に達し、そのベースラインよりも2.4倍少ない環境ステップ(報奨フリープレトレーニングがカウントされた場合の5.0倍)に達し、モデルベースプランナーのDLPAよりも67倍速く決定される。
提案手法は, ベースラインよりもサンプリング効率が高く, リアルタイム制御に十分高速な手法である。
関連論文リスト
- Chunk-wise Model-based Policy Optimization [40.23927358747623]
本稿では,チャンクワールドモデルを用いたモデルベースRLアプローチを提案する。
我々は,HumanoidBenchからの高次元ヒューマノイドタスク19の課題について評価し,四足歩行のための実世界への展開について検討した。
論文 参考訳(メタデータ) (2026-10-10T04:33:12Z) - PRISM: PRior-guided Imagination Sampling in world Models [7.304186330343712]
PRISMは1つのデータセットから両方を抽出するタスクに依存しないフレームワークである。
PRISMは、Cube上のバニラワールドモデルベースのMPCよりも35パーセント、PushTでは32パーセント、成功率を改善する。
論文 参考訳(メタデータ) (2026-06-06T04:18:10Z) - Implicit Maximum Likelihood Estimation for Real-time Generative Model Predictive Control [5.692340907039085]
Implicit Maximum Likelihood Estimation (IMLE) は、計画のための新たな生成モデリング手法である。
本結果は,IMLEが標準オフライン強化学習ベンチマーク上での競合性能を実証するものである。
我々はまた、IMLEをクローズドループの人間ナビゲーションシナリオで検証し、高速かつ適応的な計画生成を可能にする方法を示す。
論文 参考訳(メタデータ) (2026-03-14T03:39:31Z) - SPACeR: Self-Play Anchoring with Centralized Reference Models [50.55045557371374]
Simエージェントポリシーは、現実的で、人間らしく、高速で、マルチエージェント設定でスケーラブルである。
大規模な拡散モデルやトークン化モデルを用いた模倣学習の最近の進歩は、人間の運転データから直接行動を把握することができることを示している。
本研究では,事前訓練されたトークン化自己回帰運動モデルを利用したSPACeRを提案する。
論文 参考訳(メタデータ) (2025-10-20T19:53:02Z) - Internalizing World Models via Self-Play Finetuning for Agentic RL [65.96875390986655]
エージェントとしての大規模言語モデル(LLM)は、しばしばアウト・オブ・ディストリビューション(OOD)のシナリオで苦労する。
状態表現と遷移モデリングという2つのコンポーネントに分解することで、この世界モデルをエンコードする方法を示す。
SPAは,世界モデルを学習するために,セルフプレイ指導による微調整段階を通じてポリシーを冷やし始める,シンプルな強化学習フレームワークである。
論文 参考訳(メタデータ) (2025-10-16T18:03:39Z) - Enter the Void - Planning to Seek Entropy When Reward is Scarce [6.208654695856247]
本稿では,短時間の潜伏予測を用いて,高エントロピー状態の予測と探索を積極的に行う新しい手法を提案する。
提案する階層型プランナは,いつ計画を立てるか,地平線の長さを計画し,報酬とエントロピーの重み付けを動的に行う。
提案手法は,Dreamerのコンバージェンスにおいて,Dreamerのコンバージェンスよりも50%高速で,Dreamerが必要とする環境ステップの60%に,想像力で訓練されたポリシーが収束する。
論文 参考訳(メタデータ) (2025-05-22T15:28:50Z) - MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。
MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。
また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
論文 参考訳(メタデータ) (2024-06-11T17:55:25Z) - Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。
MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。
実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
論文 参考訳(メタデータ) (2021-06-16T16:24:55Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳(メタデータ) (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。