論文の概要: Vid2Sim: Generalizable, Video-based Reconstruction of Appearance, Geometry and Physics for Mesh-free Simulation

• arxiv url: http://arxiv.org/abs/2506.06440v1
• Date: Fri, 06 Jun 2025 18:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.274885
• Title: Vid2Sim: Generalizable, Video-based Reconstruction of Appearance, Geometry and Physics for Mesh-free Simulation
• Title（参考訳）: Vid2Sim:メッシュフリーシミュレーションのための外観・幾何学・物理の汎用的ビデオベース再構成
• Authors: Chuhao Chen, Zhiyang Dou, Chen Wang, Yiming Huang, Anjun Chen, Qiao Feng, Jiatao Gu, Lingjie Liu,
• Abstract要約: Vid2Simは、幾何学と物理特性を回復するための一般化可能なビデオベースのアプローチである。 物理世界の知識を捉えるために訓練されたフィードフォワードニューラルネットワークは、物理システムの観察された構成をビデオから再構築する。 軽量な最適化パイプラインは、推定外観、幾何学、物理的特性を洗練し、ビデオ観察と密接に一致させる。
• 参考スコア（独自算出の注目度）: 41.17844925831194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Faithfully reconstructing textured shapes and physical properties from videos presents an intriguing yet challenging problem. Significant efforts have been dedicated to advancing such a system identification problem in this area. Previous methods often rely on heavy optimization pipelines with a differentiable simulator and renderer to estimate physical parameters. However, these approaches frequently necessitate extensive hyperparameter tuning for each scene and involve a costly optimization process, which limits both their practicality and generalizability. In this work, we propose a novel framework, Vid2Sim, a generalizable video-based approach for recovering geometry and physical properties through a mesh-free reduced simulation based on Linear Blend Skinning (LBS), offering high computational efficiency and versatile representation capability. Specifically, Vid2Sim first reconstructs the observed configuration of the physical system from video using a feed-forward neural network trained to capture physical world knowledge. A lightweight optimization pipeline then refines the estimated appearance, geometry, and physical properties to closely align with video observations within just a few minutes. Additionally, after the reconstruction, Vid2Sim enables high-quality, mesh-free simulation with high efficiency. Extensive experiments demonstrate that our method achieves superior accuracy and efficiency in reconstructing geometry and physical properties from video data.
• Abstract（参考訳）: ビデオからテクスチャ化された形状や物理的特性を忠実に再構築することは、興味深いが難しい問題だ。 この分野では、このようなシステム識別問題を推し進めるための重要な取り組みが進められている。 従来の手法は、物理パラメータを推定するために、微分可能なシミュレータとレンダラーを備えた重い最適化パイプラインに依存していた。 しかし、これらのアプローチは各シーンに対して広範囲なハイパーパラメータチューニングを必要とし、その実用性と一般化性の両方を制限するコストのかかる最適化プロセスを必要とする。 本研究では,線形ブレンドスキニング(LBS)に基づくメッシュフリー還元シミュレーションにより,幾何学的および物理的特性を回復するための一般化可能なビデオベース手法であるVid2Simを提案する。 具体的には、Vid2Simは、物理世界の知識を捉えるために訓練されたフィードフォワードニューラルネットワークを使用して、ビデオから観察された物理システムの構成を再構築する。 軽量な最適化パイプラインは、推定外観、幾何学、物理的特性を洗練し、数分以内にビデオ観察と密に一致させる。 さらに、再構築後、Vid2Simは高効率で高品質でメッシュフリーなシミュレーションを可能にする。 ビデオデータから幾何特性と物理特性を再構成する際の精度と効率が向上することを示した。

関連論文リスト

• PhysTwin: Physics-Informed Reconstruction and Simulation of Deformable Objects from Videos [21.441062722848265]
  PhysTwinは、対話中の動的オブジェクトのスパースビデオを使用して、写真と物理的にリアルでリアルタイムなインタラクティブなレプリカを生成する新しいフレームワークである。 提案手法は,(1)現実的な物理シミュレーションのためにバネ質量モデルを組み合わせた物理インフォームド表現,および幾何学のための生成形状モデル,およびレンダリングのためのガウススプラットである。 本手法は,視覚的知覚の手がかりと逆物理の枠組みを統合し,部分的,隠蔽的,限定的な視点からでも高忠実度復元を可能にする。
  論文  参考訳（メタデータ） (2025-03-23T07:49:19Z)
• PhysGen: Rigid-Body Physics-Grounded Image-to-Video Generation [29.831214435147583]
  本稿では,新しい画像対ビデオ生成法であるPhysGenを提案する。 リアルで、物理的にもっともらしく、時間的に一貫したビデオを生み出す。 我々の重要な洞察は、モデルに基づく物理シミュレーションとデータ駆動のビデオ生成プロセスを統合することである。
  論文  参考訳（メタデータ） (2024-09-27T17:59:57Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Physics-guided Shape-from-Template: Monocular Video Perception through Neural Surrogate Models [4.529832252085145]
  トレーニング済みニューラルネットワークを用いた布のSfT再構成アルゴリズムを提案する。 シミュレーションメッシュの異なるレンダリングにより、再構成と対象のビデオシーケンスの画素ワイズ比較が可能になる。 これにより、$phi$-SfTに比べて400-500の係数でランタイムを削減しつつ、正確で安定した、スムーズな再構築された幾何を維持することができる。
  論文  参考訳（メタデータ） (2023-11-21T18:59:58Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。