論文の概要: RoboTALES: Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures
- arxiv url: http://arxiv.org/abs/2607.06018v1
- Date: Tue, 07 Jul 2026 08:58:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.461742
- Title: RoboTALES: Learning Reasoning-Guided Robot Policies via Task-Aligned Simulated Futures
- Title(参考訳): RoboTALES:タスクアライン・シミュレートされた未来を通した推論型ロボットポリシーの学習
- Abstract要約: タスク整合型未来を学習し,ロボットポリシーのトレーニングに使用するフレームワークであるRoboTALESを提案する。
提案手法では,(1)複雑なタスクを一連のサブゴールに分割してモデルの想像を導く階層的LCMベースのプランナ,(2)これらの将来性を評価し,モデルの内部表現を目標に集中させるために報酬に基づくフィードバックを利用するVLMベースの批判,という2つの重要なイノベーションを導入する。
- 参考スコア(独自算出の注目度): 51.85284871989367
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pretrained video generative models are promising backbones for visuomotor control, but their imagined futures often drift from task intent and are not reliably action-conditional. As a result, these models can be difficult to use for planning or policy extraction. To address these limitations, we propose RoboTALES, a single-stage framework that learns task-aligned simulated futures and uses them to train robot policies. Our approach introduces two key innovations: (1) a hierarchical LLM-based planner that breaks complex tasks into a sequence of subgoals to guide the model's imagination; and (2) a VLM-based critic that evaluates these ``imagined'' futures and uses reward-based feedback to keep the model's internal representations focused on the goal. By anchoring the video generator in abstract reasoning, we produce temporally consistent rollouts and more coherent actions. We evaluate RoboTALES on diverse manipulation tasks from RoboCasa and LIBERO10, and show that our method consistently outperforms existing methods, especially in long-horizon tasks. Our code and models are publicly available at https://github.com/hananshafi/RoboTALES.
- Abstract(参考訳): 事前訓練されたビデオ生成モデルは、ビジュモータ制御のためのバックボーンを約束している。
結果として、これらのモデルが計画や政策抽出に使用されることは困難である。
これらの制約に対処するために,タスク整合型未来を学習し,ロボットポリシーのトレーニングに使用する単一ステージフレームワークであるRoboTALESを提案する。
提案手法では,(1)複雑なタスクを一連のサブゴールに分割してモデルの想像を導く階層的LCMベースのプランナ,(2)これらの「想像」の未来を評価し,モデルの内部表現を目標に集中させるために報酬に基づくフィードバックを利用するVLMベースの批判,という2つの重要なイノベーションを導入する。
ビデオジェネレータを抽象的推論で固定することにより、時間的に一貫したロールアウトとより一貫性のあるアクションを生成する。
本稿では,RoboCasa と LIBERO10 の多種多様な操作タスクに対するRoboTALES の評価を行い,従来手法,特に長期タスクにおいて,従来手法よりも常に優れていることを示す。
私たちのコードとモデルはhttps://github.com/hananshafi/RoboTALES.comで公開されています。
関連論文リスト
- From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2026-05-12T14:15:16Z) - Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。
最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。
本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
論文 参考訳(メタデータ) (2025-12-17T18:35:54Z) - Constrained Decoding for Robotics Foundation Models [12.916330118607918]
本稿では,自動回帰ロボット基盤モデルのための制約付き復号化フレームワークであるSafeDecを紹介する。
タスク固有の安全ルールはSignal Temporal Logic (STL) 公式として表現され、最小限のオーバーヘッドで推論時に強制される。
提案手法は,実行時に仮定された動的条件下でのSTL仕様を,再トレーニングなしで確実に満たすものである。
論文 参考訳(メタデータ) (2025-09-01T19:17:40Z) - RoboEnvision: A Long-Horizon Video Generation Model for Multi-Task Robot Manipulation [30.252593687028767]
ロボット操作作業のための長距離ビデオ生成の問題に対処する。
本稿では,自己回帰生成の必要性を回避できる新しいパイプラインを提案する。
提案手法は,ビデオ品質と一貫性の2つのベンチマークにおいて,最先端の結果を達成している。
論文 参考訳(メタデータ) (2025-06-27T08:21:55Z) - RoboAct-CLIP: Video-Driven Pre-training of Atomic Action Understanding for Robotics [22.007302996282085]
本稿では,コントラスト言語-画像事前学習(CLIP)アーキテクチャに基づく時間分解微調整戦略を提案する。
シミュレーション環境での結果は,RoboAct-CLIP事前学習モデルがベースラインのビジュアル言語モデルよりも12%高い成功率を達成することを示す。
論文 参考訳(メタデータ) (2025-04-02T19:02:08Z) - LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
我々はLLaRA: Large Language and Robotics Assistantを紹介した。
まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。
このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
論文 参考訳(メタデータ) (2024-06-28T17:59:12Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳(メタデータ) (2020-12-30T23:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。