論文の概要: VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos
- arxiv url: http://arxiv.org/abs/2510.24904v1
- Date: Tue, 28 Oct 2025 19:12:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:44.702189
- Title: VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos
- Title(参考訳): VividCam:仮想合成ビデオから従来のカメラの動きを学習する
- Authors: Qiucheng Wu, Handong Zhao, Zhixin Shu, Jing Shi, Yang Zhang, Shiyu Chang,
- Abstract要約: VividCamは、拡散モデルによって合成ビデオから複雑なカメラの動きを学習する訓練パラダイムである。
我々は、驚くほど単純な合成データを用いて、精密に制御された複雑なカメラの動きを広範囲に合成できることを実証した。
- 参考スコア(独自算出の注目度): 58.09854638265381
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although recent text-to-video generative models are getting more capable of following external camera controls, imposed by either text descriptions or camera trajectories, they still struggle to generalize to unconventional camera motions, which is crucial in creating truly original and artistic videos. The challenge lies in the difficulty of finding sufficient training videos with the intended uncommon camera motions. To address this challenge, we propose VividCam, a training paradigm that enables diffusion models to learn complex camera motions from synthetic videos, releasing the reliance on collecting realistic training videos. VividCam incorporates multiple disentanglement strategies that isolates camera motion learning from synthetic appearance artifacts, ensuring more robust motion representation and mitigating domain shift. We demonstrate that our design synthesizes a wide range of precisely controlled and complex camera motions using surprisingly simple synthetic data. Notably, this synthetic data often consists of basic geometries within a low-poly 3D scene and can be efficiently rendered by engines like Unity. Our video results can be found in https://wuqiuche.github.io/VividCamDemoPage/ .
- Abstract(参考訳): 最近のテキスト・ビデオ生成モデルは、テキスト記述やカメラ・トラジェクトリによって課される外部のカメラ制御に追随する能力が増しているが、真のオリジナル・芸術的ビデオを作る上で重要な、従来のカメラ・モーションへの一般化に苦慮している。
この課題は、意図しないカメラモーションで十分なトレーニングビデオを見つけることの難しさにある。
この課題に対処するために、私たちは、拡散モデルが合成ビデオから複雑なカメラの動きを学習し、リアルなトレーニングビデオの収集への依存を解放する訓練パラダイムであるVividCamを提案する。
VividCamには、カメラモーション学習を合成外見の成果物から分離し、より堅牢なモーション表現とドメインシフトを緩和する複数のアンタングルメント戦略が組み込まれている。
我々は、驚くほど単純な合成データを用いて、精密に制御された複雑なカメラの動きを広範囲に合成できることを実証した。
この合成データは、しばしば低密度の3Dシーンの基本的なジオメトリで構成され、Unityのようなエンジンによって効率的にレンダリングされる。
ビデオの結果はhttps://wuqiuche.github.io/VividCamDemoPage/で確認できます。
関連論文リスト
- ReCamMaster: Camera-Controlled Generative Rendering from A Single Video [72.42376733537925]
ReCamMasterは、カメラ制御された生成ビデオの再レンダリングフレームワークである。
これは、新しいカメラ軌道における入力ビデオのダイナミックなシーンを再現する。
また,ビデオの安定化,超高解像度化,画質向上に有望な応用を見出した。
論文 参考訳(メタデータ) (2025-03-14T17:59:31Z) - AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers [66.29824750770389]
カメラの動きを第一原理の観点から分析し、正確な3Dカメラ操作を可能にする洞察を明らかにする。
これらの知見を合成して、高度な3Dカメラ制御(AC3D)アーキテクチャを設計する。
論文 参考訳(メタデータ) (2024-11-27T18:49:13Z) - ViMo: Generating Motions from Casual Videos [34.19904765033005]
ビデオから動画へ生成する新しいフレームワーク(ViMo)を提案する。
ViMoは、未完成のビデオコンテンツの膨大な量を生かして、多種多様な3Dモーションを作り出すことができる。
実験結果から、高速な動き、様々な視点、あるいは頻繁なオクルージョンが存在するビデオであっても、提案モデルが自然な動きを生成できることを示した。
論文 参考訳(メタデータ) (2024-08-13T03:57:35Z) - Generative Camera Dolly: Extreme Monocular Dynamic Novel View Synthesis [43.02778060969546]
制御可能な単分子動的ビュー合成パイプラインを提案する。
我々のモデルは入力として深度を必要としないし、明示的に3次元シーン形状をモデル化しない。
私たちのフレームワークは、リッチな動的シーン理解、ロボット工学の知覚、バーチャルリアリティのためのインタラクティブな3Dビデオ視聴体験において、強力なアプリケーションをアンロックできる可能性があると考えています。
論文 参考訳(メタデータ) (2024-05-23T17:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。