論文の概要: Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models
- arxiv url: http://arxiv.org/abs/2607.05390v1
- Date: Mon, 06 Jul 2026 17:59:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:30.275483
- Title: Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models
- Title（参考訳）: Deform360: 変形可能な世界モデルのための多視点ビゾタクタブルデータセット
- Abstract要約: Deform360は、198個の日常生活オブジェクト、1,980個の相互作用シーケンス、41個のサラウンドビューカメラとバイマンの触覚からの215時間以上の観測を特徴とする大規模なビゾタクティルデータセットである。
2次元映像モデルと3次元粒子モデルを比較し,現状の世界のモデルを評価する。
- 参考スコア（独自算出の注目度）: 36.26785019314161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting object dynamics (i.e., world modeling) is a fundamental challenge for robotic manipulation, and modeling deformable objects presents a particularly difficult case due to their high-dimensional state spaces and complex material properties. While current world models approach this through two distinct paradigms: learning the dynamics over the 2D pixel space or more explicit 3D geometric space. A systematic understanding of their relative strengths and limitations remains elusive due to the lack of diverse, large-scale real-world data. To address this, we present Deform360, a large-scale visuotactile dataset featuring 198 daily-life objects, 1,980 interaction sequences, and over 215 hours of observations from 41 surround-view cameras and bimanual tactile grippers to capture both global motion and contact-induced local deformations. Leveraging a novel markerless visuotactile 3D tracking pipeline to extract dense geometry and motion, we systematically evaluate current state-of-the-art world models, comparing 2D video models against 3D particle models. Finally, we provide a preliminary demonstration indicating the real-world applicability of our dataset by performing robot planning tasks on deformable objects. Our analysis reveals key insights into the trade-offs between structural priors and scalability, providing a solid benchmark for future research in generalizable deformable object-centric world modeling. Project website: https://deform360.lhy.xyz
- Abstract（参考訳）: 予測対象力学(つまり、世界モデリング)はロボット操作の基本的な課題であり、変形可能な物体をモデル化することは、高次元の状態空間と複雑な材料特性のために特に困難である。
現在の世界モデルは、これを2つの異なるパラダイム、すなわち2次元ピクセル空間上の力学を学ぶこと、またはより明示的な3次元幾何学空間によってアプローチする。
それらの相対的な強さと限界の体系的な理解は、多様で大規模な実世界のデータが不足しているために、いまだ解明されていない。
この問題を解決するために、Deform360は、198個の日常生活オブジェクト、1,980個の相互作用シーケンスと、41個のサラウンドビューカメラと両眼触覚グリップからの215時間以上の観測を特徴とする大規模なビゾタクティルデータセットで、グローバルな動きと接触によって引き起こされる局所的な変形の両方をキャプチャする。
そこで我々は,3次元粒子モデルと2次元ビデオモデルを比較して,新しいマーカーレス3次元トラッキングパイプラインを応用して,高密度な幾何学と動きを抽出し,現在の最先端の世界モデルを体系的に評価した。
最後に、変形可能なオブジェクト上でロボット計画タスクを実行することで、データセットの現実的な適用性を示す予備的なデモンストレーションを行う。
我々の分析は、構造的先行とスケーラビリティのトレードオフに関する重要な洞察を明らかにし、一般化可能な変形可能なオブジェクト中心の世界モデリングにおける将来の研究のための確かなベンチマークを提供する。
プロジェクトウェブサイト:https://deform360.lhy.xyz
関連論文リスト
- 4DGS-WAM: Bridging Past and Future with an Object-Centric World Action Model based on 4D Gaussian Splatting [72.02343855552051]
現在の世界アクションモデル(WAM)は2次元の視覚データを扱うのが一般的である。
動的オブジェクトとシーンの静的背景を別々にモデル化した,明示的な4Dガウススティング(4DGS)表現を利用する。
4DGS-WAMは2次元観察を永続的な4次元表現に上げ、将来の予測で観測済みの静的コンテンツを再利用できるようにする。
論文 参考訳（メタデータ） (2026-08-26T16:16:57Z) - Future Dynamic 3D Reconstruction: A 3D World Model with Disentangled Ego-Motion [69.61280478695205]
本研究では,将来の動的3次元再構成のための3次元潜在表現を予測する世界モデルFR3Dを提案する。
実験では、FR3Dが将来的な動的3D再構成において、複数のデータセットにまたがるモノラルな観察から2秒後まで、強力なパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-06-16T17:59:46Z) - Learning Action-Conditional and Object-Centric Gaussian Splatting World Models for Rigid Objects [4.870609209341298]
我々は3次元の剛体物体の動作条件力学を学習する新しいモデルを開発した。
シミュレーションにおける非包括的操作のためのモデル予測制御におけるモデルの評価を行った。
論文 参考訳（メタデータ） (2026-06-01T09:12:07Z) - MotionDreamer: Universal Skeletal Motion Generation for 3D Rigged Shapes [52.45449797329548]
MotionDreamerは、2Dビデオガイダンスからカテゴリに依存しない骨格アニメーションを生成するための拡散ベースのフレームワークである。
本研究では,2次元視覚運動キューとヘテロジニアスな3次元骨格構造とのギャップを埋める構造的意味注入機構を提案する。
提案手法は既存の手法を著しく上回り、堅牢で効率的な4Dアセット生成のための最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2026-06-01T00:42:31Z) - NeuROK: Generative 4D Neural Object Kinematics [35.76495786203886]
我々は、オブジェクト中心の物理システムに対して、データ駆動キネマティックな状態パラメータ化を学習する。
大規模4Dデータセットを用いてトランスフォーマーベースのエンコーダデコーダモデルを学習する。
論文 参考訳（メタデータ） (2026-05-28T17:59:53Z) - TrackDeform3D: Markerless and Autonomous 3D Keypoint Tracking and Dataset Collection for Deformable Objects [48.763448779200324]
本稿では、RGB-Dカメラのみを用いて、変形可能なオブジェクトの3Dデータセットを収集するための安価なフレームワークを提案する。
提案手法は3次元キーポイントを同定し,動きの整合性制約を組み込んだトラジェクトリを頑健に追跡する。
本稿では,6つの変形可能なオブジェクトからなる,110分間の軌跡データからなる高品質な大規模データセットを提案する。
論文 参考訳（メタデータ） (2026-03-17T18:53:04Z) - DynamicVerse: A Physically-Aware Multimodal Framework for 4D World Modeling [67.95038177144554]
物理スケールでマルチモーダルな4DワールドモデリングフレームワークであるDynamicVerseを紹介した。
我々は視覚、幾何学、マルチモーダルモデルを用いて、メートルスケールの静的幾何、実世界の動的運動、インスタンスレベルのマスク、そして全体論的キャプションを解釈する。
DynamicVerseは、100K以上のビデオと800K以上の注釈付きマスク、インターネットビデオから10M以上のフレームからなる大規模なデータセットを提供する。
論文 参考訳（メタデータ） (2025-12-02T18:24:27Z) - Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos [28.473117601626956]
我々は,物体粒子と空間格子をハイブリッド表現で結合したニューラル・ダイナミクス・フレームワークを開発した。
我々は,ロボットと物体の相互作用の疎視的RGB-D記録から,多様な物体のダイナミックスを学習できることを実証した。
提案手法は,特にカメラビューに制限のあるシナリオにおいて,最先端の学習ベースシミュレータや物理ベースのシミュレータよりも優れている。
論文 参考訳（メタデータ） (2025-06-18T17:59:38Z) - Learning 3D Persistent Embodied World Models [84.40585374179037]
我々は、以前に生成されたコンテンツの明示的なメモリを備えた、新しい永続的エンボディド・ワールドモデルを導入する。
映像拡散モデルでは, 映像拡散モデルにより, エージェントの今後の観察のRGB-D映像が予測される。
この生成は、環境の永続的な3Dマップに集約される。
論文 参考訳（メタデータ） (2025-05-05T17:59:17Z) - PartRM: Modeling Part-Level Dynamics with Large Cross-State Reconstruction Model [23.768571323272152]
PartRMは、静的オブジェクトの多視点画像から外観、幾何学、部分レベルの動きを同時にモデル化する新しい4D再構成フレームワークである。
我々はPartDrag-4Dデータセットを導入し、20,000以上の状態にまたがる部分レベルのダイナミクスを多視点で観察する。
実験結果から,PartRMはロボット工学の操作作業に応用できる部分レベルの動作学習において,新たな最先端技術を確立していることがわかった。
論文 参考訳（メタデータ） (2025-03-25T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。