論文の概要: The Blindfolded Controller: Decision Model-Guided Training for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.07934v1
• Date: Thu, 05 Nov 2026 12:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.683029
• Title: The Blindfolded Controller: Decision Model-Guided Training for Reinforcement Learning
• Title（参考訳）: Blindfolded Controller:強化学習のための決定モデル誘導学習
• Abstract要約: DMGT(Decision Model-Guided Training)は、環境とタスクを記述したDMを使用してRLポリシーを初期化する技術である。 スクラッチから探す代わりに、エージェントはゴールに達し、最初のエピソードから報酬を受け取り、RLはDMが達成した以上のポリシーを改善する。
• 参考スコア（独自算出の注目度）: 1.2716195762843872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) provides a framework for continuous improvement through interaction with an environment. However, RL agents struggle against tasks that offer exploration challenges and sparse rewards, because learning efficient policies from scratch is slow and sample-inefficient. In contrast, decision models (DMs), given a description of the environment and task, can perform well in sparse-reward tasks, but, as they do not learn from reward, they are not able to improve towards the optimal solution. In this paper, we present Decision Model-Guided Training (DMGT), a technique that uses a DM with a description of the environment and task to initialise an RL policy, combining the DM's ability to act without training with RL's ability to improve from reward. Instead of exploring from scratch, the agent reaches the goal and receives reward from its first episodes, and RL then improves its policy beyond what the DM achieves. We demonstrate through experiments on seven tasks that our approach outperforms RL in all seven and DM in five. In addition, we provide comprehensive guidelines, derived from ablation studies, for describing an environment and task to a DM.
• Abstract（参考訳）: 強化学習(RL)は環境との相互作用を通じて継続的改善のためのフレームワークを提供する。 しかしながら、RLエージェントは、スクラッチからの効率的なポリシーの学習が遅く、サンプル非効率であるため、探索課題とスパース報酬を提供するタスクと戦っている。 対照的に、環境とタスクの説明が与えられた決定モデル(DM)は、スパース・リワードのタスクではうまく機能するが、報酬から学ばないため、最適なソリューションに向かって改善することができない。 本稿では、DMと環境記述とタスクを併用してRLポリシーを初期化するDMGT(Decision Model-Guided Training)を提案する。 スクラッチから探す代わりに、エージェントはゴールに達し、最初のエピソードから報酬を受け取り、RLはDMが達成した以上のポリシーを改善する。 提案手法は,全7タスクにおいてRL,5タスクにおいてDMより優れる7つのタスクについて実験を行った。 さらに、環境とタスクをDMに記述するためのアブレーション研究から派生した包括的ガイドラインを提供する。

関連論文リスト

• RSIPO: Recursive Self-Improving Policy Optimization for Agentic Reinforcement Learning via Skill-Policy Co-Evolution [77.88178178061172]
  本稿では、エージェントスキルとポリシーモデルをトレーニングプロセスを通じて共進化させる自己進化型エージェントRLフレームワークである、再帰的自己改善政策最適化(RSIPO)を紹介する。 Qwen2.5-7Bがベースモデルとなり、RSIPOはALFWorldで平均98.6%の成功率を記録し、それぞれ2番目に高いベースラインと標準GRPOに対して2.5%と17.4%の改善を達成した。
  論文  参考訳（メタデータ） (2026-10-11T16:54:58Z)
• Coherent Off-Policy Improvement of Large Behavior Models with Learned Rewards [24.576576709809036]
  強化学習は、さらなる経験を用いてポリシーを微調整するために使用することができる。 逆強化学習では、専門家によるデモンストレーションから高密度報酬関数が学習される。 提案手法は,6つのスパース操作タスクすべてに対してpi-0.5を維持・改善し,複雑な操作タスクのうち5つに対して50q 90%の成功率を達成できることを示す。
  論文  参考訳（メタデータ） (2026-06-01T12:49:14Z)
• Meta-RL Induces Exploration in Language Agents [23.748757951967352]
  本稿では,大規模言語モデル(LLM)エージェントをテスト時に環境フィードバックから積極的に探索し,学習することを可能にする,一般的なメタRLフレームワークであるLaMerを紹介する。 LaMerは、それぞれ11%、14%、19%がSokoban、MineSweeper、Webshopで、RLベースラインよりもパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2025-12-18T18:22:17Z)
• Fast Adaptation with Behavioral Foundation Models [82.34700481726951]
  教師なしゼロショット強化学習は、行動基礎モデルの事前学習のための強力なパラダイムとして登場した。 有望な結果にもかかわらず、ゼロショットポリシーは、教師なしのトレーニングプロセスによって引き起こされるエラーにより、しばしば準最適である。 本稿では,事前訓練されたBFMの低次元タスク埋め込み空間を探索し,ゼロショットポリシーの性能を急速に向上させる高速適応手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:17Z)
• Reset-free Reinforcement Learning with World Models [6.151562278670799]
  強化学習のためのモデルベースリセットフリー(MoReFree)エージェントを提案する。 MoReFreeは、リセット不要なタスクを処理するために、探索とポリシー学習という2つの重要なメカニズムを適用している。 環境報酬やデモンストレーションへのアクセスなしに、様々なリセットのないタスクに対して優れたデータ効率を示す。
  論文  参考訳（メタデータ） (2024-08-19T08:56:00Z)
• Reparameterized Policy Learning for Multimodal Trajectory Optimization [61.13228961771765]
  本研究では,高次元連続行動空間における強化学習のためのパラメータ化政策の課題について検討する。 本稿では,連続RLポリシーを最適軌道の生成モデルとしてモデル化する原理的フレームワークを提案する。 本稿では,マルチモーダルポリシーパラメータ化と学習世界モデルを活用した実用的モデルベースRL手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T09:05:46Z)
• Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
  我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。 本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2022-10-06T20:28:55Z)
• Handling Sparse Rewards in Reinforcement Learning Using Model Predictive Control [9.118706387430883]
  強化学習(RL)は近年,様々な分野で大きな成功を収めている。 しかし、報酬関数の設計には、エージェントが望ましい振る舞いを学べるように、詳細なドメインの専門知識と面倒な微調整が必要である。 本稿では,スパース報酬環境におけるRLエージェントのトレーニング経験源として,モデル予測制御(MPC)を提案する。
  論文  参考訳（メタデータ） (2022-10-04T11:06:38Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。