論文の概要: Learning Robotic World Models with Semantic and Visual Feedback
- arxiv url: http://arxiv.org/abs/2611.07850v1
- Date: Thu, 05 Nov 2026 11:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.666647
- Title: Learning Robotic World Models with Semantic and Visual Feedback
- Title(参考訳): 意味的・視覚的フィードバックによるロボット世界モデル学習
- Abstract要約: 本稿では,自動回帰ロボットの世界モデルを,セマンティックフィードバックと視覚フィードバックの候補-未来比較により学習するフレームワークであるRoboImagineを紹介する。
多様な探索によって予測精度が向上し、セマンティックと視覚的フィードバックの組み合わせにより、視覚的フィードバック単独よりも高い外部マルチモーダル評価スコアが得られることを示す。
- 参考スコア(独自算出の注目度): 72.78145915668853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robot world models predict action-conditioned future visual states to support robotic planning and decision making. However, visual reconstruction does not fully capture task progress, semantic evaluation alone provides limited constraints on fine-grained visual errors, and homogeneous predictions limit comparative feedback. We present RoboImagine, a framework for post-training autoregressive robotic world models through candidate-future comparisons with semantic and visual feedback. Diverse search promotes diversity among candidate trajectories under shared visual observations, action sequences, and task instructions. A frozen multimodal evaluator provides task-relevant semantic preferences through pairwise video comparisons in both presentation orders, complemented by pixel- and perceptual-level visual consistency feedback that constrains local structural and appearance errors. These signals drive policy optimization through group-relative advantages. Fixed initial context and branch-specific rolling histories support long-sequence generation with bounded context and consistent conditioning between candidate generation and policy optimization. Experiments with separately trained models on RT-1, BridgeV2, and RoboCasa cover real-world and simulated manipulation. On RT-1, under matched initialization, update counts, and evaluation protocols, RoboImagine improves PSNR by 1.26 dB and reduces LPIPS by 11.93% relative to continued supervised fine-tuning. Ablations show that diverse search improves prediction quality and that combined semantic and visual feedback yields higher external multimodal evaluation scores than visual feedback alone while maintaining comparable visual fidelity. Rolling histories further improve long-horizon prediction. These results support improving visual fidelity, task relevance, and long-horizon prediction through candidate comparison and complementary feedback.
- Abstract(参考訳): ロボットワールドモデルは、ロボット計画と意思決定をサポートするためにアクション条件付き将来の視覚状態を予測します。
しかし、視覚的再構成はタスクの進捗を完全に捉えておらず、セマンティックな評価だけではきめ細かな視覚的誤りに制限を与え、均質な予測は比較的なフィードバックを制限する。
本稿では,自動回帰ロボットの世界モデルを,セマンティックフィードバックと視覚フィードバックの候補-未来比較により学習するフレームワークであるRoboImagineを紹介する。
ディバースサーチは、視覚的観察、アクションシーケンス、タスク命令の共有の下で、候補軌跡間の多様性を促進する。
凍結したマルチモーダル評価器は、局所的な構造的および外観的誤りを制限する画素レベルの視覚的一貫性フィードバックによって補完される、プレゼンテーション順序のペアワイズビデオ比較を通じてタスク関連セマンティックな嗜好を提供する。
これらのシグナルは、グループ相対的な利点を通じてポリシーの最適化を促進する。
固定された初期コンテキストとブランチ固有のローリング履歴は、境界付きコンテキストと候補生成とポリシー最適化の間の一貫した条件付き長シーケンス生成をサポートする。
RT-1、BridgeV2、RoboCasaで個別に訓練されたモデルによる実験は現実世界をカバーし、シミュレーション操作を行う。
RT-1では、初期化、更新数、評価プロトコルが一致し、RoboImagineはPSNRを1.26dB改善し、LPIPSを1.93%削減した。
アブレーションは、多様な探索によって予測品質が向上し、セマンティックと視覚的フィードバックの組み合わせにより、視覚的フィードバックのみよりも高い外的マルチモーダル評価スコアが得られることを示している。
転がりの歴史は、より長期の予測を改善する。
これらの結果は、視覚的忠実度、タスク関連性、長期予測の改善を、候補比較と相補的フィードバックを通じて支援する。
関連論文リスト
- FutureWorlds: Learning Robotic World Models from Alternative Futures [63.860917821424955]
FutureWorldsは、候補構築、履歴の保守、相対的な品質からの学習を統合するフレームワークである。
マルチモーダルな離散自己回帰モデルに基づいて構築されたFutureWorldsは、強化学習中に多様なビームサーチを使用して、信頼性と多様性のバランスをとる候補となる未来を構築する。
論文 参考訳(メタデータ) (2026-10-01T04:04:31Z) - TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks [22.702826122425268]
制御と予測の中間インタフェースとして視覚トラックを用いた世界モデルに基づくロボット意思決定フレームワークTrActを提案する。
TrActは3つのコンポーネントから構成される: ビジョン・ランゲージ・アクション・アンド・トラックモデル(VLAT)は、現在の観察と言語指導から候補行動と対応する視覚トラックを共同で予測し、トラック条件付き世界モデル(TWM)は、提案されたトラックで条件付けられた将来の視覚結果を予測する。
論文 参考訳(メタデータ) (2026-08-25T06:00:01Z) - MSVBench: Towards Human-Level Evaluation of Multi-Shot Video Generation [48.84450712826316]
MSVBenchは、マルチショットビデオ生成に適した階層的なスクリプトと参照イメージを備えた最初の包括的なベンチマークである。
本稿では,大規模マルチモーダルモデルの高レベルな意味推論と,ドメイン固有のエキスパートモデルの微粒な知覚的厳密さを相乗化するハイブリッド評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-27T12:26:34Z) - ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。
具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。
本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文 参考訳(メタデータ) (2026-01-23T11:31:07Z) - A General One-Shot Multimodal Active Perception Framework for Robotic Manipulation: Learning to Predict Optimal Viewpoint [15.654641113631333]
ロボット操作のための汎用的なワンショットマルチモーダル能動認識フレームワークを提案する。
このフレームワークは、最適な視点の直接推測を可能にし、データ収集パイプラインと最適な視点予測ネットワークから構成される。
その結果, フレームワークによって導かれる能動的知覚は, 把握成功率を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2026-01-20T06:12:53Z) - Q-Save: Towards Scoring and Attribution for Generated Video Evaluation [65.83319736145869]
本稿では,AIGV品質の総合評価のためのベンチマークデータセットとモデルであるQ-Saveを紹介する。
データセットには10000近いビデオが含まれており、それぞれにスカラー平均評価スコア(MOS)と微粒な属性ラベルが付与されている。
品質評価と属性に基づく説明を共同で行う統一評価モデルを提案する。
論文 参考訳(メタデータ) (2025-11-24T07:00:21Z) - Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。
我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
論文 参考訳(メタデータ) (2024-04-23T14:53:15Z) - VS-TransGRU: A Novel Transformer-GRU-based Framework Enhanced by
Visual-Semantic Fusion for Egocentric Action Anticipation [33.41226268323332]
エゴセントリックなアクション予測は、一人称視点で将来のアクションを先進的に予測することを目的とした課題である。
既存のほとんどの手法は、視覚入力とリカレントニューラルネットワークに基づくモデルアーキテクチャと損失関数の改善に重点を置いている。
本稿では,新しいビジュアル・セマンティック融合とトランスフォーマーGRUに基づくアクション予測フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-08T06:49:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。