Fugu-MT 論文翻訳(概要): World Programs for Model-Based Learning and Planning in Compositional State and Action Spaces

論文の概要: World Programs for Model-Based Learning and Planning in Compositional State and Action Spaces

arxiv url: http://arxiv.org/abs/1912.13007v1
Date: Mon, 30 Dec 2019 17:03:16 GMT
ステータス: 処理完了
システム内更新日: 2023-01-17 02:05:07.190131
Title: World Programs for Model-Based Learning and Planning in Compositional State and Action Spaces
Title（参考訳）: 構成状態と行動空間におけるモデルベース学習と計画のための世界プログラム
Authors: Marwin H.S. Segler
Abstract要約: 本研究では,学習者が動的モデルとグラフベースの構成環境における動作を学習することにより,世界プログラムを誘導するフォーマリズムを提案する。我々は,最近の応用を取り上げ,コミュニティが世界プログラムベースの計画を評価する上での課題を提案する。
参考スコア（独自算出の注目度）: 4.9023704104715256
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Some of the most important tasks take place in environments which lack cheap and perfect simulators, thus hampering the application of model-free reinforcement learning (RL). While model-based RL aims to learn a dynamics model, in a more general case the learner does not know a priori what the action space is. Here we propose a formalism where the learner induces a world program by learning a dynamics model and the actions in graph-based compositional environments by observing state-state transition examples. Then, the learner can perform RL with the world program as the simulator for complex planning tasks. We highlight a recent application, and propose a challenge for the community to assess world program-based planning.
Abstract（参考訳）: もっとも重要なタスクは、安価で完璧なシミュレータが欠けている環境で起こり、モデルフリー強化学習(RL)の適用を妨げる。モデルベースのrlはダイナミクスモデルを学ぶことを目指しているが、より一般的なケースでは学習者はアクション空間が何であるかを事前に知らない。本稿では,学習者が状態遷移の例を観察して,グラフベースの構成環境における動的モデルと動作を学習することにより,世界プログラムを誘導するフォーマリズムを提案する。そして、学習者は、複雑な計画タスクのシミュレータとしてワールドプログラムでrlを実行することができる。我々は,最近の応用を取り上げ,コミュニティが世界プログラムベースの計画を評価するための課題を提案する。

関連論文リスト

What's the Plan? Evaluating and Developing Planning-Aware Techniques for Language Models [7.216683826556268]
大きな言語モデル(LLM)は、計画機能を必要とするアプリケーションにますます使われています。我々は,新しいハイブリッド・メソドであるSimPlanを紹介し,その性能を新たな挑戦的な設定で評価する。
論文参考訳（メタデータ） (2024-02-18T07:42:49Z)
EgoPlan-Bench: Benchmarking Multimodal Large Language Models for Human-Level Planning [84.6451394629312]
実世界のシナリオにおけるMLLMの計画能力を評価するベンチマークであるEgoPlan-Benchを紹介する。 EgoPlan-Benchは、人間レベルのタスクプランニングを実現するためのMLLMの改善のかなりの範囲を浮き彫りにする。また,EgoPlan-Bench上でのモデル性能を効果的に向上する特殊命令チューニングデータセットであるEgoPlan-ITを提案する。
論文参考訳（メタデータ） (2023-12-11T03:35:58Z)
HarmonyDream: Task Harmonization Inside World Models [93.07314830304193]
モデルベース強化学習(MBRL)は、サンプル効率の学習を約束する。本稿では,タスク調和性を維持するために損失係数を自動的に調整する,シンプルで効果的なアプローチであるHarmonyDreamを提案する。
論文参考訳（メタデータ） (2023-09-30T11:38:13Z)
Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
論文参考訳（メタデータ） (2023-03-12T05:08:03Z)
Self-Imitation Learning by Planning [3.996275177789895]
模擬学習(IL)により、熟練の知識を伝達することで、ロボットがスキルを素早く習得できます。長期移動計画タスクでは、ILおよびRLメソッドのデプロイにおける課題は、大規模で広範囲に分散したデータの生成と収集方法である。本研究では,現在の方針から訪問状態の計画により,実演データを自動収集する自己模倣学習(silp)を提案する。 SILPは、早期強化学習の段階で正常に訪問された状態がグラフ検索ベースのモーションプランナーの衝突のないノードであることに触発されます。
論文参考訳（メタデータ） (2021-03-25T13:28:38Z)
Evolutionary Planning in Latent Space [7.863826008567604]
プランニングは、いくつかの望ましい特性を持つ強化学習の強力なアプローチである。我々は、ラテントスペースにおける進化的計画を可能にする世界モデルを学ぶ。ランダムなポリシーからのロールアウトでブートストラップし、より正確な計画ポリシーからのロールアウトで反復的に修正することで、世界のモデルを構築する方法を示します。
論文参考訳（メタデータ） (2020-11-23T09:21:30Z)
Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning [72.18725551199842]
BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
論文参考訳（メタデータ） (2020-10-23T03:22:01Z)
Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文参考訳（メタデータ） (2020-07-14T16:42:59Z)
Model-based Reinforcement Learning: A Survey [2.564530030795554]
マルコフ決定過程 (Markov Decision Process, MDP) の最適化として一般に形式化された逐次意思決定は、人工知能において重要な課題である。この問題の2つの主要なアプローチは強化学習(RL)と計画である。本稿では、モデルベース強化学習として知られる両分野の統合について調査する。
論文参考訳（メタデータ） (2020-06-30T12:10:07Z)
Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning [124.9856253431878]
グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
論文参考訳（メタデータ） (2020-05-14T08:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。