論文の概要: Physics-Based Rigid Body Object Tracking and Friction Filtering From RGB-D Videos
- arxiv url: http://arxiv.org/abs/2309.15703v2
- Date: Wed, 29 May 2024 14:37:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 02:21:25.230117
- Title: Physics-Based Rigid Body Object Tracking and Friction Filtering From RGB-D Videos
- Title（参考訳）: RGB-Dビデオからの物理に基づく剛体物体追跡と摩擦フィルタ
- Authors: Rama Krishna Kandukuri, Michael Strecke, Joerg Stueckler,
- Abstract要約: 本稿では,RGB-D画像から剛体物体を3次元追跡し,物体の物理的特性を推定する手法を提案する。
実世界のデータセット上で、我々のアプローチを実証し、評価する。
- 参考スコア（独自算出の注目度）: 8.012771454339353
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Physics-based understanding of object interactions from sensory observations is an essential capability in augmented reality and robotics. It enables to capture the properties of a scene for simulation and control. In this paper, we propose a novel approach for real-to-sim which tracks rigid objects in 3D from RGB-D images and infers physical properties of the objects. We use a differentiable physics simulation as state-transition model in an Extended Kalman Filter which can model contact and friction for arbitrary mesh-based shapes and in this way estimate physically plausible trajectories. We demonstrate that our approach can filter position, orientation, velocities, and concurrently can estimate the coefficient of friction of the objects. We analyze our approach on various sliding scenarios in synthetic image sequences of single objects and colliding objects. We also demonstrate and evaluate our approach on a real-world dataset. We make our novel benchmark datasets publicly available to foster future research in this novel problem setting and comparison with our method.
- Abstract（参考訳）: 感覚観察による物体の相互作用の物理に基づく理解は、拡張現実やロボット工学において必須の能力である。
シミュレーションと制御のためにシーンのプロパティをキャプチャすることができる。
本稿では,RGB-D画像から剛体物体を3次元で追跡し,物体の物理的特性を推定する,リアル・トゥ・シムのための新しい手法を提案する。
我々は,任意のメッシュ形状の接触と摩擦をモデル化できる拡張カルマンフィルタの状態遷移モデルとして,微分可能な物理シミュレーションを用いて,物理的に妥当な軌道を推定する。
提案手法は, 位置, 向き, 速度をフィルタし, 同時に物体の摩擦係数を推定できることを実証する。
我々は,単一物体と衝突物体の合成画像列における様々なスライディングシナリオに対するアプローチを分析する。
また、実世界のデータセットに対する我々のアプローチを実証し、評価する。
我々は,この新たな問題設定と手法との比較において,今後の研究を促進するために,新しいベンチマークデータセットを公開している。
関連論文リスト
- Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳（メタデータ） (2024-06-18T16:37:44Z) - DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [77.34056839349076]
本稿では,3次元ガウス散乱の物理特性をビデオ拡散先行値で推定するDreamPhysicsを提案する。
本手法は,適切な物理パラメータを持つ物質点法シミュレータに基づいて,現実的な動きを持つ4次元コンテンツを生成する。
論文 参考訳（メタデータ） (2024-06-03T16:05:25Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - Reconstructing Objects in-the-wild for Realistic Sensor Simulation [41.55571880832957]
我々は,スパース・イン・ザ・ワイルドデータから正確な幾何学的および現実的な外観を推定する新しい手法であるNeuSimを提案する。
物体の外観を物理にインスパイアされた頑健な反射率表現でモデル化し,実測データに有効である。
実験の結果,NeuSimはスパース・トレーニング・ビューを持つ難解なシナリオに対して,強力なビュー合成性能を有することがわかった。
論文 参考訳（メタデータ） (2023-11-09T18:58:22Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳（メタデータ） (2023-10-11T05:34:36Z) - Differentiable Physics Simulation of Dynamics-Augmented Neural Objects [40.587385809005355]
深層ネットワークとしてパラメータ化された連続密度場としてそれらの幾何学を表現する物体の運動をシミュレートするための微分可能なパイプラインを提案する。
我々は、物体の運動特性、質量、質量の中心、慣性行列を推定する。
これによりロボットは、動いている物体の静止画像やビデオから視覚的かつ動的に正確な物体モデルを自律的に構築することができる。
論文 参考訳（メタデータ） (2022-10-17T20:37:46Z) - Virtual Elastic Objects [18.228492027143307]
現実のオブジェクトのように振る舞う仮想オブジェクトを構築します。
我々は、微分可能な粒子ベースシミュレータを用いて、変形場を用いて代表材料パラメータを探索する。
各種力場下で12個のオブジェクトのデータセットを用いて実験を行い,コミュニティと共有する。
論文 参考訳（メタデータ） (2022-01-12T18:59:03Z) - DiffSDFSim: Differentiable Rigid-Body Dynamics With Implicit Shapes [9.119424247289857]
微分物理学は、シーンの理解と相互作用の推論のためのコンピュータとロボティクスの強力なツールである。
既存のアプローチは、前もって単純な形状や形状のオブジェクトに限られていることが多い。
論文 参考訳（メタデータ） (2021-11-30T11:56:24Z) - Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。
連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。
我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
論文 参考訳（メタデータ） (2021-11-15T18:50:04Z) - Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。
この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
論文 参考訳（メタデータ） (2020-04-30T19:35:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。