Fugu-MT 論文翻訳(概要): DITTO: Offline Imitation Learning with World Models

論文の概要: DITTO: Offline Imitation Learning with World Models

arxiv url: http://arxiv.org/abs/2302.03086v1
Date: Mon, 6 Feb 2023 19:41:18 GMT
ステータス: 処理完了
システム内更新日: 2023-02-08 18:21:46.477344
Title: DITTO: Offline Imitation Learning with World Models
Title（参考訳）: ditto: 世界モデルによるオフライン模倣学習
Authors: Branton DeMoss, Paul Duckworth, Nick Hawes, Ingmar Posner
Abstract要約: 本研究では,世界モデルとオンライン強化学習を用いたオフライン模倣学習アルゴリズムを提案する。本手法は,画素単独で困難なAtari環境上でテストし,オフライン環境での最先端性能を実現する。
参考スコア（独自算出の注目度）: 21.636377126403087
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose DITTO, an offline imitation learning algorithm which uses world models and on-policy reinforcement learning to addresses the problem of covariate shift, without access to an oracle or any additional online interactions. We discuss how world models enable offline, on-policy imitation learning, and propose a simple intrinsic reward defined in the world model latent space that induces imitation learning by reinforcement learning. Theoretically, we show that our formulation induces a divergence bound between expert and learner, in turn bounding the difference in reward. We test our method on difficult Atari environments from pixels alone, and achieve state-of-the-art performance in the offline setting.
Abstract（参考訳）: 本研究では,世界モデルとオンライン強化学習を用いたオフライン模倣学習アルゴリズムであるDITTOを提案する。本稿では,オフライン・オン・ポリティカル・模倣学習を実現するための世界モデルについて議論し,強化学習による模倣学習を誘発する世界モデル潜在空間で定義される単純な本質的報酬を提案する。理論的には、我々の定式化は、専門家と学習者の間で分岐を誘導し、報酬の差を束縛することを示す。本手法は,ピクセルのみから難しいatari環境上でテストし,オフライン環境での最先端性能を実現する。

関連論文リスト

Reward-free World Models for Online Imitation Learning [25.304836126280424]
本研究では,報酬のない世界モデルを活用したオンライン模倣学習手法を提案する。提案手法は, 復元を伴わない潜在空間における環境力学を学習し, 効率的かつ高精度なモデリングを可能にする。 DMControl,myoSuite, ManiSkill2 など,様々なベンチマークを用いて本手法の評価を行い,既存手法と比較して優れた実証性能を示した。
論文参考訳（メタデータ） (2024-10-17T23:13:32Z)
Open-World Reinforcement Learning over Long Short-Term Imagination [91.28998327423295]
LS-Imagineは、有限個の状態遷移ステップにおいて、イマジネーションの地平線を拡大する。我々の手法は、MineDojoの最先端技術よりも大幅に改善されていることを示す。
論文参考訳（メタデータ） (2024-10-04T17:17:30Z)
Learning from Random Demonstrations: Offline Reinforcement Learning with Importance-Sampled Diffusion Models [19.05224410249602]
閉ループポリシー評価と世界モデル適応を用いたオフライン強化学習のための新しい手法を提案する。提案手法の性能を解析し,提案手法と実環境とのリターンギャップに上限を設けた。
論文参考訳（メタデータ） (2024-05-30T09:34:31Z)
Efficient Imitation Learning with Conservative World Models [54.52140201148341]
報酬機能のない専門家によるデモンストレーションから政策学習の課題に取り組む。純粋な強化学習ではなく、微調整問題として模倣学習を再構成する。
論文参考訳（メタデータ） (2024-05-21T20:53:18Z)
ReconBoost: Boosting Can Achieve Modality Reconcilement [89.4377895465204]
我々は、調和を達成するために、モダリティ代替学習パラダイムについて研究する。固定モードを毎回更新するReconBoostと呼ばれる新しい手法を提案する。提案手法はFriedman's Gradient-Boosting (GB) アルゴリズムに似ており,更新された学習者が他者による誤りを訂正できることを示す。
論文参考訳（メタデータ） (2024-05-15T13:22:39Z)
ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文参考訳（メタデータ） (2023-12-14T15:53:07Z)
RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文参考訳（メタデータ） (2023-11-21T21:05:21Z)
A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
論文参考訳（メタデータ） (2022-10-12T04:58:51Z)
Bridging Imagination and Reality for Model-Based Deep Reinforcement Learning [72.18725551199842]
BrIdging Reality and Dream (BIRD) と呼ばれる新しいモデルに基づく強化学習アルゴリズムを提案する。虚構と実軌跡の相互情報を最大化し、虚構から学んだ政策改善を実軌跡に容易に一般化できるようにする。提案手法は, モデルベース計画のサンプル効率を向上し, 挑戦的なビジュアル制御ベンチマークの最先端性能を実現する。
論文参考訳（メタデータ） (2020-10-23T03:22:01Z)
Non-Adversarial Imitation Learning and its Connections to Adversarial Methods [21.89749623434729]
非対人模倣学習のための枠組みを提案する。結果のアルゴリズムは敵のアルゴリズムと似ている。また, 新たなアルゴリズムを導出するために, 我々の非敵対的定式化が有効であることを示す。
論文参考訳（メタデータ） (2020-08-08T13:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。