論文の概要: ObjDream: Guiding Vision-Language-Action Models with Object-Level Understanding and Future State Prediction

• arxiv url: http://arxiv.org/abs/2610.20223v1
• Date: Wed, 14 Oct 2026 14:06:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.179704
• Title: ObjDream: Guiding Vision-Language-Action Models with Object-Level Understanding and Future State Prediction
• Title（参考訳）: ObjDream: オブジェクトレベルの理解と将来の状態予測を備えた視覚・言語・アクションモデルの指導
• Abstract要約: 視覚言語アクション(VLA)モデルは、ロボット操作の強力なパラダイムとして登場した。 既存のVLAモデルは、事前訓練された視覚誘導バックボーンから継承された画像レベルの視覚表現で動作する。 私たちは、オブジェクトレベルの理解と将来のオブジェクト状態予測に焦点を当てた、オブジェクト中心のフレームワークであるDreamを紹介します。
• 参考スコア（独自算出の注目度）: 56.47390090011296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models have emerged as a powerful paradigm for robotic manipulation, enabling robots to generate actions from visual observations and language instructions. However, most existing VLA models still operate on image-level visual representations inherited from pretrained vision-language backbones, while lacking fine-grained object understanding for manipulation. As a result, their robustness can degrade under out-of-distribution object layouts, clutter, and background variations. To address these limitations, we introduce ObjDream, an object-centric VLA framework centered on object-level understanding and future object state prediction. ObjDream uses a spatio-temporal object encoder to organize visual observations into temporal object slots, where persistent object identity and dynamic object state are represented through separate channels. These structured object representations are inserted into the token sequence of the vision-language model (VLM), where identity-guided routing modulates VLM attention to the corresponding object tokens. In addition, an action-conditioned object dynamics module predicts compact future object states relevant to manipulation during training, explicitly supervising object state evolution under robot actions without requiring future prediction at inference. Experiments on LIBERO, LIBERO-Plus, and RoboTwin 2.0 show that ObjDream improves generalization under diverse distribution shifts and scene perturbations. Real-world robot experiments further demonstrate that ObjDream transfers to physical manipulation settings with novel object arrangements and background changes.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルがロボット操作の強力なパラダイムとして登場し、視覚的な観察と言語指示からロボットがアクションを生成できるようになった。 しかしながら、既存のほとんどのVLAモデルは、未訓練の視覚言語バックボーンから受け継いだ画像レベルの視覚表現で運用されている。 結果として、その堅牢性は、分散オブジェクトレイアウト、クラッタ、バックグラウンドのバリエーションの下で低下する可能性がある。 これらの制限に対処するために、オブジェクトレベルの理解と将来のオブジェクト状態予測を中心としたオブジェクト中心のVLAフレームワークであるObjDreamを紹介します。 ObjDreamは、時空間オブジェクトエンコーダを使用して、視覚的な観察を時間空間オブジェクトスロットに整理する。 これらの構造化されたオブジェクト表現は視覚言語モデル(VLM)のトークンシーケンスに挿入される。 さらに、動作条件付きオブジェクトダイナミクスモジュールは、トレーニング中の操作に関連するコンパクトな未来のオブジェクト状態を予測し、推論時に将来の予測を必要とせず、ロボット動作下でのオブジェクト状態の進化を明示的に監視する。 LIBERO、LIBERO-Plus、RoboTwin 2.0の実験は、ObjDreamが様々な分布シフトとシーン摂動の下で一般化を改善することを示した。 現実世界のロボット実験では、ObjDreamが新しいオブジェクトアレンジメントとバックグラウンド変更で物理的な操作設定に移行することを示した。

関連論文リスト

• Decoupling the Declarative from the Procedural in Vision-Language-Action Models [65.22639791239932]
  オブジェクト固有のデモから振る舞いをクローンするように訓練されたポリシーは、そのオブジェクトを超えて一般化されなければならない。 情報フローを再構成した新しいビジョン・ランゲージ・アクションモデルであるw$2$VLAを提案する。 最先端のVLAとは異なり、我々のモジュラーアプローチは知識表現の分離に成功している。
  論文  参考訳（メタデータ） (2026-06-19T14:43:58Z)
• Clutter-Resistant Vision-Language-Action Models through Object-Centric and Geometry Grounding [14.290592746124835]
  本稿では,行動推論から知覚的グラウンドを遠ざける枠組みであるOBEYED-VLAを提案する。 OBEYED-VLAは、タスク条件付き、オブジェクト中心、幾何学的認識の観察に入力を基礎付ける知覚モジュールを備えたビジョン・ランゲージ・アクションモデルを強化する。 現実世界のUR10eテーブルトップ設定では、OBEYED-VLAは強力なVLAベースラインよりもロバスト性を大幅に向上する。
  論文  参考訳（メタデータ） (2025-12-27T08:31:25Z)
• Utilizing Vision-Language Models as Action Models for Intent Recognition and Assistance [2.2893865000399938]
  本稿では,視覚言語モデル (VLM) とテキストのみの言語モデル (LLM) によるGUIDERの拡張について述べる。 ビジョンパイプラインは、候補対象の作物をVLMに供給し、オペレータのプロンプトが与えられた場合、その関連性を評価する。 組み合わせた信念がしきい値を超えると、自律性が変化し、ロボットは所望の領域に移動し、所望の物体を回収することができる。
  論文  参考訳（メタデータ） (2025-08-14T22:19:09Z)
• TextOCVP: Object-Centric Video Prediction with Language Guidance [16.513260843365902]
  TextOCVPは、テキスト記述によってガイドされるビデオ予測のためのオブジェクト中心モデルである。 構造化されたオブジェクト中心表現は、新しいシーン構成に対して優れたロバスト性を提供することを示す。
  論文  参考訳（メタデータ） (2025-02-17T10:46:47Z)
• Do Pre-trained Vision-Language Models Encode Object States? [13.4206464539947]
  視覚言語モデル(VLM)がWebスケールデータにオブジェクト状態をエンコードするかどうかを検討する。 コントラストおよび生成目的を訓練したモデルを含む,9つのオープンソースVLMを評価した。 オブジェクト状態のエンコードを改善するための3つの領域を同定する。
  論文  参考訳（メタデータ） (2024-09-16T17:22:18Z)
• Physically Grounded Vision-Language Models for Robotic Manipulation [59.143640049407104]
  39.6Kのクラウドソースと417Kの自動物理概念アノテーションからなるオブジェクト中心のデータセットであるPhysObjectsを提案する。 本稿では,PhysObjects上での視覚言語モデルの微調整により,物理オブジェクト概念の理解が向上することを示す。 我々は、この物理的基盤を持つVLMを、大規模言語モデルに基づくロボットプランナーと対話的なフレームワークに組み込む。
  論文  参考訳（メタデータ） (2023-09-05T20:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。