論文の概要: DreamFormer: Dream Imitation with a Transformer World Model for Language-Conditioned Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.04540v1
• Date: Sat, 03 Oct 2026 14:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 19:04:01.83375
• Title: DreamFormer: Dream Imitation with a Transformer World Model for Language-Conditioned Robotic Manipulation
• Title（参考訳）: DreamFormer:Dreamimitation with a Transformer World Model for Language-Conditioned Robotic Manipulation
• Abstract要約: 本稿では,専門家によるデモンストレーションを模倣して,言語条件のマルチタスクスキルを取得するモデルベースエージェントであるDreamFormerを紹介する。 DreamFormerはまず、構造化されていないプレイデータからタスク非依存のTransformer世界モデルを学び、タスク固有の振る舞いを取得する。 これは目に見えない環境へのゼロショット転送のパフォーマンスをほぼ2倍にします。
• 参考スコア（独自算出の注目度）: 11.42642534356665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce DreamFormer, a model-based agent that acquires language-conditioned, multi-task skills by imitating expert demonstrations within the latent imagination of a learned world model. DreamFormer first learns a task-agnostic Transformer world model from unstructured play data, then acquires task-specific behaviors by optimizing an intrinsic reward that aligns agent-generated rollouts with expert demonstrations in latent space. Since the policy is trained on-policy inside imagination, it is exposed to its own errors during training, mitigating the covariate shift inherent to offline behavioral cloning. To make long-horizon imagination affordable, DreamFormer encodes a high-resolution multi-view robotic observation into a single input token, avoiding both spatial downsampling and the multi-token representations used by prior Transformer world models. On the long-horizon CALVIN benchmark, DreamFormer outperforms LUMOS, the comparable model-based agent, on single-environment evaluation (2.52 vs 2.34 average tasks completed per chain of five) while keeping imagination rollouts tractable. Against HULC, the behavior cloning baseline, it nearly doubles performance on zero-shot transfer to an unseen environment (1.30 vs 0.67), indicating that dynamics learned by the world model transfer more readily than a directly cloned policy. This is consistent with the role attributed to internal models in biological agents, where a model of environment dynamics supports behavior in situations not previously encountered.
• Abstract（参考訳）: 本研究では,言語条件の多タスクスキルを習得するモデルベースエージェントDreamFormerを紹介する。 DreamFormerはまず、構造化されていないプレイデータからタスク非依存のTransformer世界モデルを学び、次に、エージェント生成ロールアウトと潜時空間のエキスパートデモとを一致させる本質的な報酬を最適化することでタスク固有の振る舞いを取得する。 このポリシーは、イマジネーション内での政治で訓練されているため、トレーニング中に自分自身のエラーに晒され、オフラインの行動クローンに固有の共変量シフトが軽減される。 長期の想像力を安価にするために、DreamFormerは、高解像度の多視点ロボット観察を単一の入力トークンにエンコードし、空間的なダウンサンプリングと、以前のTransformerの世界モデルで使用されるマルチトークン表現の両方を避ける。 長期のCALVINベンチマークでは、DreamFormerは、単一の環境評価(平均タスク2.52対2.34対5のチェーン毎の平均タスク)において、同じモデルベースのエージェントであるLUMOSよりも優れており、イマジネーションのロールアウトは引き出せる。 ビヘイビアクローンのベースラインであるHULCに対して、ゼロショット転送のパフォーマンスはゼロショット転送(1.30対0.67)の2倍近く向上し、ワールドモデルによって学習されたダイナミクスが直接クローンされたポリシーよりも容易に転送できることを示唆している。 これは、生物エージェントの内部モデルに起因する役割と一致しており、環境力学のモデルが、これまで遭遇していなかった状況における振る舞いをサポートする。

関連論文リスト

• Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models [19.753727433487]
  世界モデルに基づくポリシー評価は、アクション条件付きビデオモデルで候補アクションをロールアウトすることで、現実のロボット制御をテストするための実用的なプロキシである。 動作条件付きLDMの潜在空間を6つの再構成と意味エンコーダを比較して体系的に評価した。 本稿では,ロボットの世界モデルの性能を評価するために,視覚的忠実度,計画および下流ポリシー性能,潜在表現品質の3つの軸を提案する。
  論文  参考訳（メタデータ） (2026-05-07T15:05:26Z)
• Agent2World: Learning to Generate Symbolic World Models via Adaptive Multi-Agent Feedback [51.22403664895878]
  Agent2Worldは、強力な推論時ワールドモデル生成を実現するツール拡張マルチエージェントフレームワークである。 また、マルチエージェントフィードバックの生成を基盤にすることで、教師付き微調整のためのデータエンジンとしても機能する。
  論文  参考訳（メタデータ） (2025-12-26T18:54:14Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model [55.276852838877346]
  自己進化型エージェントは、独自のポリシーに基づいて、自律的にサンプリングされた軌道上で訓練される。 我々は,共進化型世界モデルLLMを導入する新しいフレームワークを提案する。 この世界モデルは、Web環境における現在の観察と行動に基づいて、次の観測を予測します。
  論文  参考訳（メタデータ） (2025-04-23T02:54:31Z)
• Copilot4D: Learning Unsupervised World Models for Autonomous Driving via Discrete Diffusion [36.321494200830244]
  Copilot4Dは、まずVQVAEでセンサ観測をトークン化し、次に離散拡散によって未来を予測する新しい世界モデリング手法である。 本研究は,ロボット工学におけるGPTのような非教師なし学習のパワーを,トークン化エージェント体験における離散拡散によって解き放つことを示す。
  論文  参考訳（メタデータ） (2023-11-02T06:21:56Z)
• Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
  インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。 提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。 デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
  論文  参考訳（メタデータ） (2023-06-09T07:22:12Z)
• Mastering Atari with Discrete World Models [61.7688353335468]
  本稿では,強力な世界モデルのコンパクトな潜伏空間における予測から純粋に振る舞いを学習する強化学習エージェントであるDreamerV2を紹介する。 DreamerV2は、Atariベンチマークにおいて、個別に訓練された世界モデル内での振る舞いを学習することで、55タスクの人間レベルのパフォーマンスを達成する最初のエージェントである。
  論文  参考訳（メタデータ） (2020-10-05T17:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。