論文の概要: Motion Blender Gaussian Splatting for Dynamic Reconstruction

• arxiv url: http://arxiv.org/abs/2503.09040v1
• Date: Wed, 12 Mar 2025 03:55:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:38:48.120654
• Title: Motion Blender Gaussian Splatting for Dynamic Reconstruction
• Title（参考訳）: 動的再構成のためのモーションブレンダーガウス平滑化
• Authors: Xinyu Zhang, Haonan Chang, Yuhan Liu, Abdeslam Boularias,
• Abstract要約: 本研究では,動きグラフを明示的かつスパースな動き表現として利用する新しいフレームワークである動きブラインドガウススティング(MB-GS)を提案する。 実験によると、MB-GSは、HyperNeRFで競合しながら、iPhoneデータセット上で最先端のパフォーマンスを達成する。 動作編集による新しい物体の動きやロボットのデモ生成における本手法の適用可能性を実証する。
• 参考スコア（独自算出の注目度）: 32.99644520625179
• License:
• Abstract: Gaussian splatting has emerged as a powerful tool for high-fidelity reconstruction of dynamic scenes. However, existing methods primarily rely on implicit motion representations, such as encoding motions into neural networks or per-Gaussian parameters, which makes it difficult to further manipulate the reconstructed motions. This lack of explicit controllability limits existing methods to replaying recorded motions only, which hinders a wider application. To address this, we propose Motion Blender Gaussian Splatting (MB-GS), a novel framework that uses motion graph as an explicit and sparse motion representation. The motion of graph links is propagated to individual Gaussians via dual quaternion skinning, with learnable weight painting functions determining the influence of each link. The motion graphs and 3D Gaussians are jointly optimized from input videos via differentiable rendering. Experiments show that MB-GS achieves state-of-the-art performance on the iPhone dataset while being competitive on HyperNeRF. Additionally, we demonstrate the application potential of our method in generating novel object motions and robot demonstrations through motion editing. Video demonstrations can be found at https://mlzxy.github.io/mbgs.
• Abstract（参考訳）: ガウスのスプレイティングは動的シーンを高忠実に再現するための強力なツールとして登場した。 しかし、既存の手法は主に、ニューラルネットワークやガウス単位のパラメータに動きを符号化するといった暗黙の動作表現に依存しており、再構成された動きをさらに操作することは困難である。 この明示的な制御性の欠如は、記録された動きのみを再生する既存の方法に制限を与え、より広い応用を妨げる。 そこで我々は,動きグラフを明示的かつスパースな動き表現として利用する新しいフレームワークであるMotion Blender Gaussian Splatting (MB-GS)を提案する。 グラフリンクの運動は、2つの四元数スキニングによって個々のガウス人に伝播し、各リンクの影響を決定する学習可能な重量絵関数を持つ。 モーショングラフと3Dガウスアンは、異なるレンダリングによる入力ビデオから共同で最適化される。 実験によると、MB-GSは、HyperNeRFで競合しながら、iPhoneデータセット上で最先端のパフォーマンスを達成する。 さらに,動作編集による新しい物体の動きやロボットのデモ生成における本手法の適用可能性を実証する。 ビデオデモはhttps://mlzxy.github.io/mbgs.comで見ることができる。

関連論文リスト

• Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
  スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。 ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。 我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
  論文  参考訳（メタデータ） (2024-12-03T18:59:56Z)
• EMD: Explicit Motion Modeling for High-Quality Street Gaussian Splatting [22.590036750925627]
  ストリートシーンの光現実的再構築は、自動運転における実世界のシミュレータの開発に不可欠である。 3D/4Dガウス散乱(GS)に基づく最近の手法は有望な結果を示したが、動的物体の予測不可能な動きのため、複雑な街路シーンではまだ課題に直面している。 本稿では,ガウス人に学習可能な動作埋め込みを導入することで,動的物体の運動をモデル化するEMD(Explicit Motion Decomposition)を提案する。
  論文  参考訳（メタデータ） (2024-11-23T15:10:04Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• MotionFollower: Editing Video Motion via Lightweight Score-Guided Diffusion [94.66090422753126]
  MotionFollowerは、ビデオモーション編集のための軽量なスコア誘導拡散モデルである。 優れたモーション編集性能を提供し、大きなカメラの動きとアクションのみをサポートする。 最新のモーション編集モデルであるMotionEditorと比較して、MotionFollowerはGPUメモリの約80%の削減を実現している。
  論文  参考訳（メタデータ） (2024-05-30T17:57:30Z)
• Gaussian Splashing: Unified Particles for Versatile Motion Synthesis and Rendering [41.589093951039814]
  立体と流体の物理アニメーションを3Dガウススティング(3DGS)と統合し、3DGSを用いて再構成された仮想シーンにおける新たな効果を創出する。 我々のフレームワークは動的流体上の表面ハイライトを現実的に再現し、新しいビューからシーンオブジェクトと流体間の相互作用を容易にする。
  論文  参考訳（メタデータ） (2024-01-27T06:45:22Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
  MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。 複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。 体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
  論文  参考訳（メタデータ） (2022-08-31T17:58:54Z)
• MotionAug: Augmentation with Physical Correction for Human Motion Prediction [19.240717471864723]
  本稿では,動き合成を取り入れた動きデータ拡張手法を提案する。 提案手法は,リカレントニューラルネットワークとグラフ畳み込みネットワークを併用した人間の動き予測モデルにおいて,従来の雑音に基づく動き増進手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-03-17T06:53:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。