論文の概要: I2V3D: Controllable image-to-video generation with 3D guidance

• arxiv url: http://arxiv.org/abs/2503.09733v1
• Date: Wed, 12 Mar 2025 18:26:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:53:20.584110
• Title: I2V3D: Controllable image-to-video generation with 3D guidance
• Title（参考訳）: I2V3D:3Dガイダンスによる制御可能な画像・映像生成
• Authors: Zhiyuan Zhang, Dongdong Chen, Jing Liao,
• Abstract要約: IV23Dは、静的画像を正確な3D制御で動的ビデオにアニメーションするためのフレームワークである。 提案手法は,コンピュータグラフィックスパイプラインの精度と高度な生成モデルを組み合わせる。
• 参考スコア（独自算出の注目度）: 42.23117201457898
• License:
• Abstract: We present I2V3D, a novel framework for animating static images into dynamic videos with precise 3D control, leveraging the strengths of both 3D geometry guidance and advanced generative models. Our approach combines the precision of a computer graphics pipeline, enabling accurate control over elements such as camera movement, object rotation, and character animation, with the visual fidelity of generative AI to produce high-quality videos from coarsely rendered inputs. To support animations with any initial start point and extended sequences, we adopt a two-stage generation process guided by 3D geometry: 1) 3D-Guided Keyframe Generation, where a customized image diffusion model refines rendered keyframes to ensure consistency and quality, and 2) 3D-Guided Video Interpolation, a training-free approach that generates smooth, high-quality video frames between keyframes using bidirectional guidance. Experimental results highlight the effectiveness of our framework in producing controllable, high-quality animations from single input images by harmonizing 3D geometry with generative models. The code for our framework will be publicly released.
• Abstract（参考訳）: I2V3Dは3次元幾何学的ガイダンスと高度な生成モデルの両方の長所を生かして,静的画像を3次元精密制御により動的ビデオにアニメーションする新しいフレームワークである。 提案手法は,コンピュータグラフィックスパイプラインの精度を向上し,カメラの動き,オブジェクト回転,キャラクターアニメーションなどの要素の正確な制御と生成AIの視覚的忠実さを組み合わせ,粗い入力から高品質なビデオを生成する。 初期開始点と拡張シーケンスでアニメーションをサポートするため、3次元幾何学でガイドされた2段階生成プロセスを採用する。 1) カスタマイズされた画像拡散モデルによりレンダリングされたキーフレームを洗練し、一貫性と品質を確保する3Dガイド型キーフレーム生成 2) 双方向誘導を用いた3Dガイド映像補間 - キーフレーム間のスムーズで高品質な映像フレームを生成する。 実験結果は,生成モデルと3次元幾何を調和させることにより,単一の入力画像から制御可能な高品質なアニメーションを作成する上で,我々のフレームワークの有効性を強調した。 フレームワークのコードは公開されます。

関連論文リスト

• Towards Physical Understanding in Video Generation: A 3D Point Regularization Approach [42.581066866708085]
  三次元幾何学と動的認識を統合した新しい映像生成フレームワークを提案する。 これを実現するために、3Dポイントトラジェクトリで2Dビデオを拡大し、ピクセル空間に配置する。 結果の3D対応ビデオデータセットであるPointVidは、遅延拡散モデルを微調整するために使用される。 ビデオ中の物体の形状と動きを規則化し、望ましくない人工物を排除する。
  論文  参考訳（メタデータ） (2025-02-05T21:49:06Z)
• F3D-Gaus: Feed-forward 3D-aware Generation on ImageNet with Cycle-Aggregative Gaussian Splatting [35.625593119642424]
  本稿では,モノケプラーデータセットから3次元認識を一般化する問題に取り組む。 画素整列型ガウススプラッティングに基づく新しいフィードフォワードパイプラインを提案する。 また,学習した3次元表現において,クロスビューの一貫性を強制する自己教師付きサイクル集約的制約を導入する。
  論文  参考訳（メタデータ） (2025-01-12T04:44:44Z)
• LiftImage3D: Lifting Any Single Image to 3D Gaussians with Video Generation Priors [107.83398512719981]
  シングルイメージの3D再構成は、コンピュータビジョンの根本的な課題である。 遅延ビデオ拡散モデルの最近の進歩は、大規模ビデオデータから学ぶ有望な3D事前情報を提供する。 本稿では,LVDMの生成先行情報を効果的にリリースするフレームワークであるLiftImage3Dを提案する。
  論文  参考訳（メタデータ） (2024-12-12T18:58:42Z)
• DreamDance: Animating Human Images by Enriching 3D Geometry Cues from 2D Poses [57.17501809717155]
  本研究では,骨格ポーズシーケンスのみを条件入力として,人間のイメージをアニメーションする新しい手法であるDreamDanceを提案する。 私たちの重要な洞察は、人間の画像は自然に複数のレベルの相関を示すということです。 我々は5Kの高品質なダンスビデオと詳細なフレームアノテーションを組み合わせたTikTok-Dance5Kデータセットを構築した。
  論文  参考訳（メタデータ） (2024-11-30T08:42:13Z)
• StereoCrafter: Diffusion-based Generation of Long and High-fidelity Stereoscopic 3D from Monocular Videos [44.51044100125421]
  本稿では,没入型立体映像を没入型立体映像に変換するための新しい枠組みを提案し,没入型体験における3Dコンテンツの需要の増加に対処する。 われわれのフレームワークは、2Dから3Dへの変換を大幅に改善し、Apple Vision Proや3Dディスプレイのような3Dデバイス用の没入型コンテンツを作るための実用的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:07Z)
• Guide3D: Create 3D Avatars from Text and Image Guidance [55.71306021041785]
  Guide3Dは拡散モデルに基づく3Dアバター生成のためのテキスト・画像誘導生成モデルである。 我々のフレームワークは、トポロジカルかつ構造的に正しい幾何と高分解能なテクスチャを生成する。
  論文  参考訳（メタデータ） (2023-08-18T17:55:47Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
  我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。 PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
  論文  参考訳（メタデータ） (2022-12-13T05:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。