論文の概要: Learning 3D-Gaussian Simulators from RGB Videos

• arxiv url: http://arxiv.org/abs/2503.24009v1
• Date: Mon, 31 Mar 2025 12:33:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.382107
• Title: Learning 3D-Gaussian Simulators from RGB Videos
• Title（参考訳）: RGBビデオによる3次元ガウスシミュレータの学習
• Authors: Mikel Zhobro, Andreas René Geist, Georg Martius,
• Abstract要約: 3DGSimは、多視点RGBビデオからオブジェクトダイナミクスをエンドツーエンドに学習する3D物理シミュレータである。 画像を3Dガウス粒子表現にエンコードし、トランスフォーマーを介してダイナミクスを伝播し、3Dガウススプレイティングを用いてフレームをレンダリングする。
• 参考スコア（独自算出の注目度）: 20.250137125726265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning physics simulations from video data requires maintaining spatial and temporal consistency, a challenge often addressed with strong inductive biases or ground-truth 3D information -- limiting scalability and generalization. We introduce 3DGSim, a 3D physics simulator that learns object dynamics end-to-end from multi-view RGB videos. It encodes images into a 3D Gaussian particle representation, propagates dynamics via a transformer, and renders frames using 3D Gaussian splatting. By jointly training inverse rendering with a dynamics transformer using a temporal encoding and merging layer, 3DGSimembeds physical properties into point-wise latent vectors without enforcing explicit connectivity constraints. This enables the model to capture diverse physical behaviors, from rigid to elastic and cloth-like interactions, along with realistic lighting effects that also generalize to unseen multi-body interactions and novel scene edits.
• Abstract（参考訳）: ビデオデータから物理シミュレーションを学ぶには、空間的および時間的一貫性を維持する必要がある。 マルチビューRGBビデオからオブジェクトダイナミクスをエンドツーエンドに学習する3D物理シミュレータである3DGSimを紹介する。 画像を3Dガウス粒子表現にエンコードし、トランスフォーマーを介してダイナミクスを伝播し、3Dガウススプレイティングを用いてフレームをレンダリングする。 3DGSimembeds physical properties into point-wise latent vectors without enforceed explicit connection constraints。 これによってモデルは、剛性から弾力性、布のような相互作用まで多様な物理的挙動を捉えることができ、リアルな照明効果は、見えない多体インタラクションや新しいシーン編集にも応用できる。

関連論文リスト

• Learning Physics-Grounded 4D Dynamics with Neural Gaussian Force Fields [11.212256115568772]
  本稿では,3次元ガウス認識と物理に基づく動的モデリングを統合し,物理的にリアルな4Dビデオを生成するエンドツーエンドのニューラルネットワークフレームワークを提案する。 また、多種多様な材料、多目的インタラクション、複雑なシーンを特徴とする4DガウスデータセットであるGSCollisionを、合計640万以上の物理ビデオで紹介する。
  論文  参考訳（メタデータ） (2026-01-29T11:37:41Z)
• Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation [87.91642226587294]
  現在の学習に基づく3D再構成手法は、キャプチャーされた実世界のマルチビューデータに頼っている。 本稿では,ビデオ拡散モデルにおける暗黙的な3次元知識を,明示的な3次元ガウススプラッティング(3DGS)表現に蒸留する自己蒸留フレームワークを提案する。 本フレームワークは静的・動的3次元シーン生成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-09-23T17:58:01Z)
• TRACE: Learning 3D Gaussian Physical Dynamics from Multi-view Videos [7.616167860385134]
  複雑な動的3次元シーンの運動物理をモデル化する新しいフレームワークTRACEを提案する。 各3次元点を空間の大きさと向きの剛性粒子として定式化することにより、各粒子の変換回転力学系を直接学習する。
  論文  参考訳（メタデータ） (2025-08-13T13:43:01Z)
• DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
  Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。 動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。 最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2025-06-11T17:59:58Z)
• PIG: Physically-based Multi-Material Interaction with 3D Gaussians [14.097146027458368]
  PIG: 3次元ガウシアンとの物理的に基いた多元的相互作用は、3次元物体のセグメンテーションと高精度に相互作用する物体のシミュレーションを組み合わせた新しいアプローチである。 本手法は,映像品質の面では最先端技術(SOTA)よりも優れるだけでなく,物理的に現実的なシーン生成の分野での新たな方向やパイプラインも開放することを示す。
  論文  参考訳（メタデータ） (2025-06-09T11:25:21Z)
• Text-to-3D Gaussian Splatting with Physics-Grounded Motion Generation [47.6666060652434]
  正確な外観と幾何学的構造を持つ3次元モデルを生成する革新的なフレームワークを提案する。 テキスト・ツー・3D生成と物理基底運動合成を統合することにより,本フレームワークはフォトリアリスティックな3Dオブジェクトを描画する。
  論文  参考訳（メタデータ） (2024-12-07T06:48:16Z)
• Efficient Physics Simulation for 3D Scenes via MLLM-Guided Gaussian Splatting [32.846428862045634]
  Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。 人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。 また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
  論文  参考訳（メタデータ） (2024-11-19T12:52:21Z)
• Dynamic 3D Gaussian Tracking for Graph-Based Neural Dynamics Modeling [10.247075501610492]
  マルチビューRGBビデオからオブジェクトダイナミクスを直接学習するフレームワークを導入する。 グラフニューラルネットワークを用いて粒子ベース力学モデルを訓練する。 本手法は,初期設定の異なる物体の動きやロボットの動作を予測できる。
  論文  参考訳（メタデータ） (2024-10-24T17:02:52Z)
• GASP: Gaussian Splatting for Physic-Based Simulations [0.42881773214459123]
  既存の物理モデルでは、三角形や四面体メッシュ、マーチングキューブ、ケージメッシュなどのメッシュ機構が追加されている。 我々は3次元ガウス成分と整合するように、基底のニュートン力学を修正した。 結果の解は、ブラックボックスとして扱われるあらゆる物理エンジンに統合できる。
  論文  参考訳（メタデータ） (2024-09-09T17:28:57Z)
• Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
  本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。 単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。 我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
  論文  参考訳（メタデータ） (2024-06-18T16:37:44Z)
• DreamPhysics: Learning Physics-Based 3D Dynamics with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• HUGS: Holistic Urban 3D Scene Understanding via Gaussian Splatting [53.6394928681237]
  RGB画像に基づく都市景観の全体的理解は、難しいが重要な問題である。 我々の主な考え方は、静的な3Dガウスと動的なガウスの組合せを用いた幾何学、外観、意味論、運動の合同最適化である。 提案手法は,2次元および3次元のセマンティック情報を高精度に生成し,新たな視点をリアルタイムに描画する機能を提供する。
  論文  参考訳（メタデータ） (2024-03-19T13:39:05Z)
• Learning 3D Particle-based Simulators from RGB-D Videos [15.683877597215494]
  本研究では,シミュレータを直接観測から学習する手法を提案する。 視覚粒子ダイナミクス(VPD)は、3Dシーンの潜在粒子ベースの表現を共同で学習する。 既存の2Dビデオ予測モデルとは異なり、VPDの3D構造はシーン編集と長期予測を可能にする。
  論文  参考訳（メタデータ） (2023-12-08T20:45:34Z)
• Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
  動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。 我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。 我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
  論文  参考訳（メタデータ） (2023-08-18T17:59:21Z)
• 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes [68.66237114509264]
  複雑なシーンと流体の映像から3次元的な視覚的直感的な物理モデルを学習できるフレームワークを提案する。 本モデルでは,生画像から学習し,明示的な3次元表現空間を用いないモデルよりもはるかに優れた将来予測が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-22T19:28:49Z)
• NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
  本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。 実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
  論文  参考訳（メタデータ） (2022-10-22T04:57:55Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)
• Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering [101.56891506498755]
  異なるレンダリングによって、ニューラルネットワークをトレーニングして"逆グラフィックス"タスクを実行する方法が舗装された。 提案手法は,既存のデータセットでトレーニングした最先端の逆グラフネットワークを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2020-10-18T22:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。