論文の概要: SG-I2V: Self-Guided Trajectory Control in Image-to-Video Generation

• arxiv url: http://arxiv.org/abs/2411.04989v3
• Date: Tue, 25 Feb 2025 17:27:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:19:25.021078
• Title: SG-I2V: Self-Guided Trajectory Control in Image-to-Video Generation
• Title（参考訳）: SG-I2V:画像・映像生成における自己誘導軌道制御
• Authors: Koichi Namekata, Sherwin Bahmani, Ziyi Wu, Yash Kant, Igor Gilitschenski, David B. Lindell,
• Abstract要約: 画像からビデオへ生成する方法は、印象的な、写真リアリスティックな品質を実現した。 オブジェクトの動きやカメラの動きなど、生成されたビデオの特定の要素を調整することは、しばしば試行錯誤の面倒なプロセスである。 最近の技術は、事前訓練されたモデルを微調整することでこの問題に対処している。 本稿では,自己誘導画像生成のためのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.693060144042196
• License:
• Abstract: Methods for image-to-video generation have achieved impressive, photo-realistic quality. However, adjusting specific elements in generated videos, such as object motion or camera movement, is often a tedious process of trial and error, e.g., involving re-generating videos with different random seeds. Recent techniques address this issue by fine-tuning a pre-trained model to follow conditioning signals, such as bounding boxes or point trajectories. Yet, this fine-tuning procedure can be computationally expensive, and it requires datasets with annotated object motion, which can be difficult to procure. In this work, we introduce SG-I2V, a framework for controllable image-to-video generation that is self-guided$\unicode{x2013}$offering zero-shot control by relying solely on the knowledge present in a pre-trained image-to-video diffusion model without the need for fine-tuning or external knowledge. Our zero-shot method outperforms unsupervised baselines while significantly narrowing down the performance gap with supervised models in terms of visual quality and motion fidelity. Additional details and video results are available on our project page: https://kmcode1.github.io/Projects/SG-I2V
• Abstract（参考訳）: 画像からビデオへ生成する方法は、印象的な、写真リアリスティックな品質を実現した。 しかし、オブジェクトの動きやカメラの動きのような生成されたビデオの特定の要素を調整することは、しばしば試行錯誤の面倒なプロセスである。 近年の手法では、境界ボックスや点軌道などの条件付き信号に従うために事前訓練されたモデルを微調整することでこの問題に対処している。 しかし、この微調整手順は計算コストがかかり、注釈付き物体の動きを持つデータセットを必要とするため、調達は困難である。 本研究では,事前学習した画像と映像の拡散モデルに存在する知識のみを微調整や外部知識の必要なしに頼りにすることで,自己誘導型でゼロショット制御を実現するためのフレームワークであるSG-I2Vを紹介する。 我々のゼロショット法は、教師なしベースラインよりも優れ、視覚的品質と動きの忠実度の観点から教師付きモデルとのパフォーマンスギャップを著しく狭めている。 詳細とビデオ結果は、プロジェクトのページ(https://kmcode1.github.io/Projects/SG-I2V)で確認できます。

関連論文リスト

• Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training [51.851390459940646]
  我々は、微調整なしで事前訓練されたビデオ拡散モデルでカメラ制御が可能なLatent-Reframeを紹介した。 Latent-Reframeはサンプリング段階で動作し、オリジナルのモデル分布を維持しながら効率を維持する。 当社のアプローチでは,ビデオフレームの潜在コードを再設計し,タイムアウェアな点雲を通して入力カメラ軌跡と整合する。
  論文  参考訳（メタデータ） (2024-12-08T18:59:54Z)
• Trajectory Attention for Fine-grained Video Motion Control [20.998809534747767]
  本稿では,細粒度カメラモーション制御のための画素トラジェクトリに沿って注目を行う新しい手法であるトラジェクトリ・アテンションを紹介する。 また,本手法は,第1フレーム誘導映像編集など,他の動画モーションコントロールタスクにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-28T18:59:51Z)
• VideoGuide: Improving Video Diffusion Models without Training Through a Teacher's Guide [48.22321420680046]
  VideoGuideは、事前訓練されたテキスト・ツー・ビデオ(T2V)モデルの時間的一貫性を高める新しいフレームワークである。 ガイドモデルの復調標本をサンプリングモデルの復調過程に補間することにより、時間的品質を向上させる。 提案手法は時間的一貫性と画像の忠実度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-06T05:46:17Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• Investigating the Effectiveness of Cross-Attention to Unlock Zero-Shot Editing of Text-to-Video Diffusion Models [52.28245595257831]
  クロスアテンションガイダンスは、ビデオを編集する上で有望なアプローチだ。 現行のT2Vモデルの限界にもかかわらず、動画編集にはクロスアテンションガイダンスが有望なアプローチであることを示す。
  論文  参考訳（メタデータ） (2024-04-08T13:40:01Z)
• Moonshot: Towards Controllable Video Generation and Editing with Multimodal Conditions [94.03133100056372]
  Moonshotは、画像とテキストのマルチモーダル入力を同時に処理する新しいビデオ生成モデルである。 モデルは、パーソナライズされたビデオ生成、画像アニメーション、ビデオ編集など、様々な生成アプリケーションに容易に再利用できる。
  論文  参考訳（メタデータ） (2024-01-03T16:43:47Z)
• DreamVideo: High-Fidelity Image-to-Video Generation with Image Retention and Text Guidance [69.0740091741732]
  本研究では,DreamVideo という名前の事前学習ビデオ拡散モデルに基づくフレーム保持分岐を考案し,高忠実度映像生成手法を提案する。 我々のモデルには強力な画像保持能力があり、我々の知る限り、他の画像-映像モデルと比較して、UCF101で最高の結果をもたらす。
  論文  参考訳（メタデータ） (2023-12-05T03:16:31Z)
• ConditionVideo: Training-Free Condition-Guided Text-to-Video Generation [33.37279673304]
  提案する条件, 映像, 入力テキストに基づいて, テキスト・ビデオ生成のためのトレーニング不要なアプローチである ConditionVideo を紹介する。 ConditionVideoはランダムノイズやシーンビデオからリアルなダイナミックビデオを生成する。 提案手法は,フレームの整合性,クリップスコア,条件精度において優れた性能を示し,他の比較手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-10-11T17:46:28Z)
• Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
  Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。 本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。 我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
  論文  参考訳（メタデータ） (2023-05-23T09:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。