論文の概要: Gaussian See, Gaussian Do: Semantic 3D Motion Transfer from Multiview Video
- arxiv url: http://arxiv.org/abs/2511.14848v1
- Date: Tue, 18 Nov 2025 19:02:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-20 15:51:28.495203
- Title: Gaussian See, Gaussian Do: Semantic 3D Motion Transfer from Multiview Video
- Title(参考訳): Gaussian See, Gaussian Do:Semantic 3D Motion Transfer from Multiview Video (英語)
- Authors: Yarin Bekor, Gal Michael Harari, Or Perel, Or Litany,
- Abstract要約: マルチビュー映像からの3D動画のセマンティック・モーション・トランスファーのための新しい手法を提案する。
条件インバージョンにより映像から動き埋め込みを抽出し,レンダリングフレームに適用し,結果の動画を用いて動的3次元ガウススプラッティング再構成を監督する。
セマンティックな3次元動き伝達のための最初のベンチマークを確立し, 適応ベースラインよりも優れた動きの忠実度と構造的整合性を示す。
- 参考スコア(独自算出の注目度): 15.994811723477973
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present Gaussian See, Gaussian Do, a novel approach for semantic 3D motion transfer from multiview video. Our method enables rig-free, cross-category motion transfer between objects with semantically meaningful correspondence. Building on implicit motion transfer techniques, we extract motion embeddings from source videos via condition inversion, apply them to rendered frames of static target shapes, and use the resulting videos to supervise dynamic 3D Gaussian Splatting reconstruction. Our approach introduces an anchor-based view-aware motion embedding mechanism, ensuring cross-view consistency and accelerating convergence, along with a robust 4D reconstruction pipeline that consolidates noisy supervision videos. We establish the first benchmark for semantic 3D motion transfer and demonstrate superior motion fidelity and structural consistency compared to adapted baselines. Code and data for this paper available at https://gsgd-motiontransfer.github.io/
- Abstract(参考訳): マルチビュー映像からの3D動画のセマンティック・モーション・トランスファーのための新しいアプローチであるGaussian See,Gaussian Doを提示する。
本手法は,意味的に意味のある対応を持つオブジェクト間のリグフリーなクロスカテゴリ動作転送を可能にする。
暗黙のモーショントランスファー技術に基づいて、条件インバージョンによりソースビデオから動き埋め込みを抽出し、静的なターゲット形状の描画フレームに適用し、その結果の動画を用いて動的3Dガウス分割再構成を監督する。
提案手法では, アンカーをベースとしたモーション埋め込み機構を導入し, クロスビューの整合性を確保し, 収束の促進を図るとともに, ノイズの多い監視映像を集約する頑健な4D再構成パイプラインを提案する。
セマンティックな3次元動き伝達のための最初のベンチマークを確立し, 適応ベースラインよりも優れた動きの忠実度と構造的整合性を示す。
この論文のコードとデータはhttps://gsgd-motiontransfer.github.io/で公開されている。
関連論文リスト
- DIMO: Diverse 3D Motion Generation for Arbitrary Objects [57.14954351767432]
DIMOは、単一の画像から任意のオブジェクトに対して多様な3Dモーションを生成することができる生成的アプローチである。
我々は、よく訓練されたビデオモデルにおけるリッチな事前情報を利用して、共通の動きパターンを抽出する。
学習した潜時空間での推論時間の間、単方向パスで様々な3次元運動を瞬時にサンプリングすることができる。
論文 参考訳(メタデータ) (2025-11-10T18:56:49Z) - In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。
テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
論文 参考訳(メタデータ) (2025-04-11T09:01:09Z) - Sync4D: Video Guided Controllable Dynamics for Physics-Based 4D Generation [47.203483017875726]
そこで我々は, カジュアルにキャプチャした参照ビデオを用いて, 3次元ガウシアンにおける制御可能なダイナミックスを作成する新しい手法を提案する。
提案手法は,参照ビデオから様々なカテゴリで生成された様々な3Dガウスにオブジェクトの動きを転送する。
本手法は, 形状整合性と時間的整合性の両方を維持しながら, 特異かつ高品質な運動伝達を提供する。
論文 参考訳(メタデータ) (2024-05-27T05:49:12Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳(メタデータ) (2024-04-04T18:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。