論文の概要: CamMimic: Zero-Shot Image To Camera Motion Personalized Video Generation Using Diffusion Models

• arxiv url: http://arxiv.org/abs/2504.09472v1
• Date: Sun, 13 Apr 2025 08:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:07.854299
• Title: CamMimic: Zero-Shot Image To Camera Motion Personalized Video Generation Using Diffusion Models
• Title（参考訳）: CamMimic:拡散モデルを用いたカメラモーションパーソナライズドビデオ生成のためのゼロショット画像
• Authors: Pooja Guhan, Divya Kothandaraman, Tsung-Wei Huang, Guan-Ming Su, Dinesh Manocha,
• Abstract要約: CamMimicは、所定のリファレンスビデオで観察されたカメラモーションを、ユーザの選択したシーンにシームレスに転送するように設計されている。 非関連シーン間のカメラの動き伝達を評価するための確立された指標が存在しないため,CameraScoreを提案する。
• 参考スコア（独自算出の注目度）: 47.65379612084075
• License:
• Abstract: We introduce CamMimic, an innovative algorithm tailored for dynamic video editing needs. It is designed to seamlessly transfer the camera motion observed in a given reference video onto any scene of the user's choice in a zero-shot manner without requiring any additional data. Our algorithm achieves this using a two-phase strategy by leveraging a text-to-video diffusion model. In the first phase, we develop a multi-concept learning method using a combination of LoRA layers and an orthogonality loss to capture and understand the underlying spatial-temporal characteristics of the reference video as well as the spatial features of the user's desired scene. The second phase proposes a unique homography-based refinement strategy to enhance the temporal and spatial alignment of the generated video. We demonstrate the efficacy of our method through experiments conducted on a dataset containing combinations of diverse scenes and reference videos containing a variety of camera motions. In the absence of an established metric for assessing camera motion transfer between unrelated scenes, we propose CameraScore, a novel metric that utilizes homography representations to measure camera motion similarity between the reference and generated videos. Extensive quantitative and qualitative evaluations demonstrate that our approach generates high-quality, motion-enhanced videos. Additionally, a user study reveals that 70.31% of participants preferred our method for scene preservation, while 90.45% favored it for motion transfer. We hope this work lays the foundation for future advancements in camera motion transfer across different scenes.
• Abstract（参考訳）: 我々は動的ビデオ編集のニーズに合わせた革新的なアルゴリズムCamMimicを紹介する。 所定の参照ビデオで観察されたカメラの動きを、追加データを必要としないゼロショット方式で、ユーザの選択したシーンにシームレスに転送するように設計されている。 提案アルゴリズムは,テキスト・ビデオ拡散モデルを用いて2相戦略を用いてこれを実現している。 第1フェーズでは,LoRA層と直交損失を組み合わせたマルチコンセプト学習手法を開発し,参照映像の空間的特徴と,ユーザの希望するシーンの空間的特徴を捉え,理解する。 第2フェーズでは、生成したビデオの時間的・空間的アライメントを高めるために、ユニークなホモグラフィに基づく改善戦略を提案する。 本手法の有効性を,様々なシーンと様々なカメラ動作を含む参照ビデオの組み合わせを含むデータセットを用いて実験により実証する。 非関連シーン間のカメラモーションの移動を評価するための確立された指標が存在しないため、参照と生成されたビデオ間のカメラモーションの類似度を測定するためにホモグラフィー表現を利用する新しいメトリクスであるCameraScoreを提案する。 広範に定量的および定性的評価を行った結果,高品質な動画が得られた。 さらに、ユーザーの調査によると、参加者の70.31%がシーン保存法を好み、90.45%がモーション転送法を好んでいる。 この研究が、様々な場面におけるカメラモーション転送の今後の進歩の基盤となることを願っている。

関連論文リスト

• Move-in-2D: 2D-Conditioned Human Motion Generation [54.067588636155115]
  そこで我々は,シーンイメージに条件付けされた人間の動作シーケンスを生成する新しい手法であるMove-in-2Dを提案する。 本手法はシーンイメージとテキストプロンプトの両方を入力として受け入れ,シーンに合わせた動作シーケンスを生成する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:07Z)
• Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
  カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。 カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。 IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
  論文  参考訳（メタデータ） (2024-09-11T08:36:49Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Edit-Your-Motion: Space-Time Diffusion Decoupling Learning for Video Motion Editing [46.56615725175025]
  本稿では,ワンショット微調整による未確認課題に対処するビデオモーション編集手法であるEdit-Your-Motionを紹介する。 映像の動作と外観を効果的に分離するために,時間的二段階学習戦略を設計する。 Edit-Your-Motionを使えば、ユーザーはソースビデオの中の人間の動きを編集でき、より魅力的で多様なコンテンツを作ることができる。
  論文  参考訳（メタデータ） (2024-05-07T17:06:59Z)
• MotionMaster: Training-free Camera Motion Transfer For Video Generation [48.706578330771386]
  本稿では,映像中のカメラの動きと物体の動きをアンハングリングする,トレーニング不要な動画移動モデルを提案する。 我々のモデルは、効果的にカメラオブジェクトの動きを分離し、分離されたカメラの動きを広範囲の制御可能なビデオ生成タスクに適用することができる。
  論文  参考訳（メタデータ） (2024-04-24T10:28:54Z)
• Motion Inversion for Video Customization [31.607669029754874]
  本稿では,映像モデルにおける動き表現の探索における広範なギャップに対処する,動き生成のための新しいアプローチを提案する。 本研究では,ビデオから抽出した時間的コヒーレントな埋め込みの集合であるMotion Embeddingsを紹介する。 我々の貢献には、カスタマイズタスクのための調整されたモーション埋め込みと、本手法の実用的メリットと有効性を示すことが含まれる。
  論文  参考訳（メタデータ） (2024-03-29T14:14:22Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。