論文の概要: Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling
- arxiv url: http://arxiv.org/abs/2602.08058v1
- Date: Sun, 08 Feb 2026 17:04:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.957783
- Title: Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling
- Title(参考訳): Picasso:物理制約サンプリングによるホロスティックなシーン再構築
- Authors: Xihang Yu, Rajat Talak, Lorenzo Shaikewitz, Luca Carlone,
- Abstract要約: 物理制約のある再構成パイプラインを構築し,幾何,非ペネティフィケーション,物理を考慮した多目的シーン再構築を行う。
そこで本研究では,接点に富んだ実世界のシーン10点からなるPicassoデータセットを提案する。
- 参考スコア(独自算出の注目度): 16.06956036371399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the presence of occlusions and measurement noise, geometrically accurate scene reconstructions -- which fit the sensor data -- can still be physically incorrect. For instance, when estimating the poses and shapes of objects in the scene and importing the resulting estimates into a simulator, small errors might translate to implausible configurations including object interpenetration or unstable equilibrium. This makes it difficult to predict the dynamic behavior of the scene using a digital twin, an important step in simulation-based planning and control of contact-rich behaviors. In this paper, we posit that object pose and shape estimation requires reasoning holistically over the scene (instead of reasoning about each object in isolation), accounting for object interactions and physical plausibility. Towards this goal, our first contribution is Picasso, a physics-constrained reconstruction pipeline that builds multi-object scene reconstructions by considering geometry, non-penetration, and physics. Picasso relies on a fast rejection sampling method that reasons over multi-object interactions, leveraging an inferred object contact graph to guide samples. Second, we propose the Picasso dataset, a collection of 10 contact-rich real-world scenes with ground truth annotations, as well as a metric to quantify physical plausibility, which we open-source as part of our benchmark. Finally, we provide an extensive evaluation of Picasso on our newly introduced dataset and on the YCB-V dataset, and show it largely outperforms the state of the art while providing reconstructions that are both physically plausible and more aligned with human intuition.
- Abstract(参考訳): 閉塞音や測定ノイズの存在下では、幾何学的に正確なシーン再構成(センサーデータに適合する)は、物理的に正しくない。
例えば、シーン内のオブジェクトのポーズと形状を推定し、その結果の見積もりをシミュレーターにインポートする場合、小さなエラーはオブジェクトのインターペネレーションや不安定な平衡を含む不確実な構成に変換される。
これにより,デジタルツインを用いたシーンの動的挙動の予測が困難になる。
本稿では,物体の姿勢と形状の推定には,物体の相互作用と物理的妥当性を考慮し,シーン上での論理的推論(個別の物体を推論する代わりに)が必要であると仮定する。
この目標に向けて、最初の貢献はPicassoである。Picassoは物理に制約された再構成パイプラインで、幾何学、非ペネティフィケーション、物理を考慮し、多目的のシーン再構築を構築する。
ピカソは、多目的相互作用の理由となる高速な拒絶サンプリング法を頼りにしており、推測された物体接触グラフを利用してサンプルをガイドしている。
第二に、Picassoデータセットは、接点に富んだ現実世界のシーン10点と、物理的妥当性の定量化のための指標で、我々のベンチマークの一部としてオープンソース化した。
最後に、新たに導入したデータセットとYCB-VデータセットでPicassoを広範囲に評価し、物理的に妥当で人間の直感に整合した再構築を提供しながら、最先端のデータセットよりも大幅に優れていることを示す。
関連論文リスト
- DecoupledGaussian: Object-Scene Decoupling for Physics-Based Interaction [21.80091691062415]
DecoupledGaussianは、接触した表面から静止物体を分離する新しいシステムだ。
DecoupledGaussianを総合的なユーザスタディと定量的ベンチマークで検証する。
このシステムは、現実世界の環境におけるオブジェクトやシーンとのデジタルインタラクションを強化し、VR、ロボティクス、自動運転といった産業に恩恵をもたらす。
論文 参考訳(メタデータ) (2025-03-07T14:54:54Z) - ICGNet: A Unified Approach for Instance-Centric Grasping [42.92991092305974]
オブジェクト中心の把握のためのエンドツーエンドアーキテクチャを導入する。
提案手法の有効性を,合成データセット上での最先端手法に対して広範囲に評価することにより示す。
論文 参考訳(メタデータ) (2024-01-18T12:41:41Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳(メタデータ) (2023-10-11T05:34:36Z) - The Drunkard's Odometry: Estimating Camera Motion in Deforming Scenes [79.00228778543553]
このデータセットは、3Dシーンの中で地上の真実を語る最初の大規模なカメラ軌道である。
リアルな3Dビルディングのシミュレーションでは、膨大な量のデータと地上の真実のラベルが得られます。
本稿では,光学的フロー推定を剛体カメラ運動に分解するDrunkard's Odometryと呼ばれる,変形可能な新しいオドメトリー法を提案する。
論文 参考訳(メタデータ) (2023-06-29T13:09:31Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳(メタデータ) (2022-03-18T21:13:56Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳(メタデータ) (2021-01-16T23:00:33Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳(メタデータ) (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。