論文の概要: Building Explicit World Model for Zero-Shot Open-World Object Manipulation
- arxiv url: http://arxiv.org/abs/2603.13825v1
- Date: Sat, 14 Mar 2026 08:13:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-21 18:33:56.790768
- Title: Building Explicit World Model for Zero-Shot Open-World Object Manipulation
- Title(参考訳): ゼロショットオープンワールドオブジェクト操作のための明示的世界モデルの構築
- Abstract要約: オープンワールド操作のための明示的世界モデルベースのフレームワークを提案する。
このフレームワークは、オープンセットの認識、デジタル双対再構築、インタラクション戦略のサンプリングと評価を統合している。
提案するフレームワークは,タスク固有の動作デモを伴わずに,複数のオープンセット操作タスクを実行できる。
- 参考スコア(独自算出の注目度): 30.004607772330473
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open-world object manipulation remains a fundamental challenge in robotics. While Vision-Language-Action (VLA) models have demonstrated promising results, they rely heavily on large-scale robot action demonstrations, which are costly to collect and can hinder out-of-distribution generalization. In this paper, we propose an explicit-world-model-based framework for open-world manipulation that achieves zero-shot generalization by constructing a physically grounded digital twin of the environment. The framework integrates open-set perception, digital-twin reconstruction, sampling and evaluation of interaction strategies. By constructing a digital twin of the environment, our approach efficiently explores and evaluates manipulation strategies in physic-enabled simulator and reliably deploys the chosen strategy to the real world. Experimentally, the proposed framework is able to perform multiple open-set manipulation tasks without any task-specific action demonstrations, proving strong zero-shot generalization on both the task and object levels. Project Page: https://bojack-bj.github.io/projects/thesis/
- Abstract(参考訳): オープンワールドのオブジェクト操作は、ロボティクスにおける根本的な課題である。
Vision-Language-Action(VLA)モデルは有望な結果を示しているが、それらは大規模なロボットアクションのデモに大きく依存している。
本稿では,環境の物理的に接地したディジタル双対を構築し,ゼロショットの一般化を実現するオープンワールド操作のための明示的世界モデルベースのフレームワークを提案する。
このフレームワークは、オープンセットの認識、デジタル双対再構築、インタラクション戦略のサンプリングと評価を統合している。
環境のディジタル双対を構築することにより,物理対応シミュレータにおける操作戦略を効率的に探索し,評価し,選択した戦略を現実世界に確実に展開する。
提案したフレームワークは,タスク固有の動作デモを一切行わずに複数のオープンセット操作タスクを実行することができ,タスクレベルとオブジェクトレベルの両方において強力なゼロショット一般化を実現することができる。
Project Page: https://bojack-bj.github.io/ projects/thesis/
関連論文リスト
- Iterative Grasp Pose Refinement: A Deep Reinforcement Learning Approach for 2D Vision [2.5899040911480182]
本研究は,ロボットグリップリファインメントのための強化学習に基づくフレームワークを提案する。
幾何に基づくアルゴリズムは、提案フレームワークによって反復的に洗練される初期把握候補を生成する。
Dex-Netデータセットから300のオブジェクトに対して実施された実験は、フレームワークの有効性を実証している。
論文 参考訳(メタデータ) (2026-08-18T10:44:58Z) - RoboSynChallenge: Mastering Real-World Dexterity via Generalizing Synthesized Manipulation Skills [90.48218237655708]
RoboSynChallengeは、幅広い能力、データ効率、適応可能な操作システムの開発を促進することを目的としている。
Challengeは、大規模な合成データ生成と、標準化された現実世界のロボット評価を統合する。
論文 参考訳(メタデータ) (2026-08-12T04:29:00Z) - dWorldEval: Scalable Robotic Policy Evaluation via Discrete Diffusion World Model [14.221014931347327]
本稿では,ロボットポリシーのスケーラブルな評価プロキシとして,離散拡散世界モデルを用いたdWorldEvalを提案する。
dWorldEvalは、視覚、言語、ロボットアクションを含むすべてのモダリティを統一トークン空間にマッピングし、単一のトランスフォーマーベースの認知ネットワークを介してそれらに到達する。
論文 参考訳(メタデータ) (2026-04-24T01:50:53Z) - Do-Undo: Generating and Reversing Physical Actions in Vision-Language Models [57.71440995598757]
我々は,視覚言語モデルにおける重要なギャップに対処するために,Do-Undoタスクとベンチマークを導入する。
Do-Undoは、物理的な行動の結果をシミュレートし、それを正確に反転させるモデルを必要とし、視覚の世界における真の原因と効果を反映している。
論文 参考訳(メタデータ) (2025-12-15T18:03:42Z) - Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids [56.892520712892804]
本稿では,ヒューマノイドロボットを訓練して3つの巧妙な操作を行う,実用的なシミュレート・トゥ・リアルなRLレシピを提案する。
未確認のオブジェクトやロバストで適応的な政策行動に対して高い成功率を示す。
論文 参考訳(メタデータ) (2025-02-27T18:59:52Z) - RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
論文 参考訳(メタデータ) (2024-03-24T05:55:39Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Programmatically Grounded, Compositionally Generalizable Robotic
Manipulation [35.12811184353626]
意味表現を統合化するための従来の事前学習ファインタニングパイプラインは、ドメイン固有の行動情報の学習に絡み合っていることを示す。
本稿では,言語命令の統語的構造と意味的構造を利用して,事前学習モデルを活用するモジュール方式を提案する。
我々のモデルは、様々な操作行動において、ゼロショットと合成の一般化を改善するために、動作と知覚をうまく切り離すことに成功している。
論文 参考訳(メタデータ) (2023-04-26T20:56:40Z) - H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding
Object Articulations from Interactions [62.510951695174604]
The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。
提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。
我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
論文 参考訳(メタデータ) (2022-10-22T18:39:33Z) - A Long Horizon Planning Framework for Manipulating Rigid Pointcloud
Objects [25.428781562909606]
本稿では,剛体物体の操作に伴う長期計画問題の解決のための枠組みを提案する。
提案手法はオブジェクトサブゴールの空間における計画であり,ロボットとオブジェクトの相互作用のダイナミクスに関する推論からプランナーを解放する。
論文 参考訳(メタデータ) (2020-11-16T18:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。