論文の概要: VeloGauss: Learning Physically Consistent Gaussian Velocity Fields from Videos
- arxiv url: http://arxiv.org/abs/2605.10567v1
- Date: Mon, 11 May 2026 13:38:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.853866
- Title: VeloGauss: Learning Physically Consistent Gaussian Velocity Fields from Videos
- Title(参考訳): VeloGauss:ビデオから物理的に一貫性のあるガウス速度場を学習する
- Authors: Nengbo Lu, Bin Zhao,
- Abstract要約: VeloGaussは、複雑なダイナミックな3Dシーンの物理的特性を物理的に学習するように設計されている。
本研究では,各ガウス粒子の速度場を物理コードと粒子動力学システムを導入して学習する。
- 参考スコア(独自算出の注目度): 11.004005265944706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we aim to jointly model the geometry, appearance, and physical information of 3D scenes solely from dynamic multi-view videos, without relying on any physical priors. Existing works typically employ physical losses merely as soft constraints or integrate physical simulations into neural networks; however, these approaches often fail to effectively learn complex motion physics. Although modeling velocity fields holds the potential to capture authentic physical information, due to the lack of appropriate physical constraints, current methods are unable to correctly learn the interaction mechanisms between rigid and non-rigid particles. To address this, we propose VeloGauss, designed to learn the physical properties of complex dynamic 3D scenes without physical priors. Our method learns the velocity field for each Gaussian particle by introducing a Physics Code and a Particle Dynamics System, and ultimately incorporates Global Physical Constraints to ensure the physical consistency of the scene. Extensive experiments on four public datasets demonstrate that our method outperforms achieves state-of-the-art performance in both Novel View Interpolation and Future Frame Extrapolation tasks.
- Abstract(参考訳): 本稿では,動的なマルチビュー映像からのみ3次元シーンの幾何学的,外観的,物理的情報をモデル化することを目的としている。
既存の研究は通常、ソフトな制約としてのみ物理的損失を生かし、ニューラルネットワークに物理シミュレーションを統合するが、これらのアプローチは複雑な運動物理学を効果的に学ばないことが多い。
モデリング速度場は、正確な物理情報を捕捉する可能性を持っているが、適切な物理的制約が欠如しているため、現在の手法では剛性粒子と非剛性粒子の相互作用機構を正しく学習することはできない。
そこで本稿では,複雑な動的3Dシーンの物理特性を物理的に学習するためのVeloGaussを提案する。
本手法は物理コードと粒子ダイナミクスシステムを導入して各ガウス粒子の速度場を学習し,最終的にグローバル物理制約を組み込んでシーンの物理的整合性を確保する。
4つの公開データセットに対する大規模な実験により、新しいビュー補間タスクとFuture Frame外挿タスクの両方において、我々の手法が最先端のパフォーマンスを達成することを示した。
関連論文リスト
- CausalGS: Learning Physical Causality of 3D Dynamic Scenes with Gaussian Representations [0.3580891736370874]
CausalGSは、複雑なダイナミックな3Dシーンの因果ダイナミクスをマルチビュービデオから学習するフレームワークである。
我々の研究は、人間のアノテーションがなければ、モデルは複数の物理的性質の間の複雑な相互作用を学習できることを示している。
論文 参考訳(メタデータ) (2026-05-11T13:59:01Z) - PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。
i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
論文 参考訳(メタデータ) (2026-04-30T17:53:03Z) - PhysAlign: Physics-Coherent Image-to-Video Generation through Feature and 3D Representation Alignment [23.066204478030627]
ビデオモデル(VDM)は、動的なシーンや環境をシミュレートするための有望なアプローチを提供する。
既存のモデルは、しばしば基本的な物理的直観に反する時間的に一貫性のないコンテンツを生成する。
物理コヒーレントな画像対ビデオI(2V)生成のための効率的なフレームワークであるPhysAlignを提案する。
論文 参考訳(メタデータ) (2026-03-14T05:44:18Z) - PhysChoreo: Physics-Controllable Video Generation with Part-Aware Semantic Grounding [50.454084539837005]
PhysChoreoは、単一の画像から多様な制御性と物理的なリアリズムを持つビデオを生成する新しいフレームワークである。
本手法は2つの段階から構成される: まず, 画像中の全ての物体の静的初期特性を, 部分認識の物理的特性再構成により推定する。
そして、時間的に指示され、物理的に編集可能なシミュレーションを通じて、リッチな動的な振る舞いと物理的なリアリズムで高品質な動画を合成する。
論文 参考訳(メタデータ) (2025-11-25T17:59:04Z) - PhysCtrl: Generative Physics for Controllable and Physics-Grounded Video Generation [53.06495362038348]
既存の世代モデルは、テキストや画像から写真リアリスティックなビデオを作るのに優れているが、物理的な可視性と3D制御性に欠けることが多い。
本稿では物理パラメータと力制御を備えた物理地上画像生成のための新しいフレームワークであるPhysCtrlを紹介する。
実験によると、PhysCtrlは現実的な物理地上の運動軌跡を生成し、画像とビデオのモデルを駆動する際に高忠実で制御可能なビデオを生成する。
論文 参考訳(メタデータ) (2025-09-24T17:58:04Z) - TRACE: Learning 3D Gaussian Physical Dynamics from Multi-view Videos [7.616167860385134]
複雑な動的3次元シーンの運動物理をモデル化する新しいフレームワークTRACEを提案する。
各3次元点を空間の大きさと向きの剛性粒子として定式化することにより、各粒子の変換回転力学系を直接学習する。
論文 参考訳(メタデータ) (2025-08-13T13:43:01Z) - Half-Physics: Enabling Kinematic 3D Human Model with Physical Interactions [89.88331682333198]
SMPL-Xを周囲との動的物理的相互作用が可能な有形実体に埋め込む新しい手法を提案する。
本手法は,シーンやオブジェクトとの物理的に妥当な相互作用を確保しつつ,固有のSMPL-Xポーズの運動制御を維持する。
広範かつ複雑な訓練を必要とする強化学習法とは異なり、ハーフフィック法は学習自由であり、あらゆる身体形状や運動に一般化する。
論文 参考訳(メタデータ) (2025-07-31T17:58:33Z) - DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
本稿では,映像拡散前の物体の物理的特性を学習することを提案する。
次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
論文 参考訳(メタデータ) (2024-06-03T16:05:25Z) - Trajectory Optimization for Physics-Based Reconstruction of 3d Human
Pose from Monocular Video [31.96672354594643]
本研究は,単眼映像から身体的に可視な人間の動きを推定する作業に焦点をあてる。
物理を考慮しない既存のアプローチは、しばしば運動人工物と時間的に矛盾した出力を生み出す。
提案手法は,Human3.6Mベンチマークにおける既存の物理法と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2022-05-24T18:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。