論文の概要: ASurvey: Spatiotemporal Consistency in Video Generation

• arxiv url: http://arxiv.org/abs/2502.17863v1
• Date: Tue, 25 Feb 2025 05:20:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:03.588104
• Title: ASurvey: Spatiotemporal Consistency in Video Generation
• Title（参考訳）: ASurvey:ビデオ生成における時空間整合性
• Authors: Zhiyu Yin, Kehai Chen, Xuefeng Bai, Ruili Jiang, Juntao Li, Hongdong Li, Jin Liu, Yang Xiang, Jun Yu, Min Zhang,
• Abstract要約: 動的視覚生成手法を利用した映像生成手法は人工知能生成コンテンツ(AIGC)の境界を押し下げる 最近の研究は、映像生成における時間的一貫性の問題に対処することを目的としているが、この観点からの文献レビューはほとんど行われていない。 基礎モデル,情報表現,生成スキーム,後処理技術,評価指標の5つの重要な側面を網羅して,映像生成の最近の進歩を体系的に検討した。
• 参考スコア（独自算出の注目度）: 72.82267240482874
• License:
• Abstract: Video generation, by leveraging a dynamic visual generation method, pushes the boundaries of Artificial Intelligence Generated Content (AIGC). Video generation presents unique challenges beyond static image generation, requiring both high-quality individual frames and temporal coherence to maintain consistency across the spatiotemporal sequence. Recent works have aimed at addressing the spatiotemporal consistency issue in video generation, while few literature review has been organized from this perspective. This gap hinders a deeper understanding of the underlying mechanisms for high-quality video generation. In this survey, we systematically review the recent advances in video generation, covering five key aspects: foundation models, information representations, generation schemes, post-processing techniques, and evaluation metrics. We particularly focus on their contributions to maintaining spatiotemporal consistency. Finally, we discuss the future directions and challenges in this field, hoping to inspire further efforts to advance the development of video generation.
• Abstract（参考訳）: ダイナミックなビジュアル生成手法を活用することで、ビデオ生成はAIGC(Artificial Intelligence Generated Content)の境界を押し進める。 ビデオ生成は、高画質の個々のフレームと時間的コヒーレンスの両方を必要として、時空間シーケンス間の一貫性を維持する。 最近の研究はビデオ生成における時空間一貫性の問題に対処することを目的としているが、この観点からは文献レビューがほとんど行われていない。 このギャップは、高品質のビデオ生成の基盤となるメカニズムの深い理解を妨げる。 本調査では, 基礎モデル, 情報表現, 生成方式, 後処理技術, 評価指標の5つの重要な側面を網羅して, 映像生成の最近の進歩を体系的に検討する。 特に、時空間整合性を維持するための貢献に重点を置いています。 最後に,この分野での今後の方向性と課題について論じ,映像生成の発展に向けたさらなる取り組みを期待する。

関連論文リスト

• Enhance-A-Video: Better Generated Video for Free [57.620595159855064]
  本稿では,DiTをベースとしたビデオのコヒーレンスと品質を高めるためのトレーニング不要な手法を提案する。 我々のアプローチは、リトレーニングや微調整なしに、ほとんどのDiTベースのビデオ生成フレームワークに容易に適用できる。
  論文  参考訳（メタデータ） (2025-02-11T12:22:35Z)
• Video Is Worth a Thousand Images: Exploring the Latest Trends in Long Video Generation [2.4240014793575138]
  この記事の執筆時点では、現在最先端のシステムであるOpenAIのSoraは、最大1分間のビデオ制作に制限されている。 本稿では,GANや拡散モデル,ビデオ生成戦略,大規模トレーニングデータセット,長大映像の評価のための品質指標,および既存の映像生成能力の限界に対処するための今後の研究領域について,現在の長大映像生成の状況について検討する。
  論文  参考訳（メタデータ） (2024-12-24T21:24:41Z)
• DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation [50.66658181705527]
  本稿では,動的長大映像のオール・アット・オンス生成を可能にするフレームワークであるDAWNを提案する。 DAWNは,(1)潜在動作空間における音声駆動型顔力学生成,(2)音声駆動型頭部ポーズと点滅生成の2つの主要成分から構成される。 本手法は, 唇の動きを正確に表現し, 自然なポーズ・瞬き動作を特徴とする実写映像と鮮明な映像を生成する。
  論文  参考訳（メタデータ） (2024-10-17T16:32:36Z)
• A Comprehensive Survey on Human Video Generation: Challenges, Methods, and Insights [8.192172339127657]
  ヒューマンビデオ生成は、テキスト、オーディオ、ポーズなどの制御条件が与えられた生成モデルを用いて、2次元の人体ビデオシーケンスを合成することを目的としている。 近年の世代モデルの発展は、この分野への関心の高まりに確かな基盤を築き上げている。 著しい進歩にもかかわらず、キャラクターの整合性、人間の動きの複雑さ、環境との関わりの難しさなど、人間の映像生成の課題は依然として困難なままである。
  論文  参考訳（メタデータ） (2024-07-11T12:09:05Z)
• Video-to-Audio Generation with Hidden Alignment [27.11625918406991]
  我々は、視覚エンコーダ、補助埋め込み、データ拡張技術に焦点をあてて、ビデオ・オーディオ生成パラダイムに関する洞察を提供する。 提案モデルでは,最先端のビデオ・オーディオ生成機能を示す。
  論文  参考訳（メタデータ） (2024-07-10T08:40:39Z)
• Sora as an AGI World Model? A Complete Survey on Text-to-Video Generation [30.245348014602577]
  本稿では,テキストからの映像生成の進化について論じる。まずMNISTの数値をアニメーション化し,ソラで物理世界をシミュレートする。 Soraが生成するビデオの欠点に関するレビューでは、ビデオ生成の様々な実現可能な側面において、より深い研究を求める声が浮き彫りになっている。 テキスト・ビデオ・ジェネレーションの研究は、まだ初期段階であり、学際的な研究コミュニティからの貢献が必要であると結論付けている。
  論文  参考訳（メタデータ） (2024-03-08T07:58:13Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)
• Generating Long Videos of Dynamic Scenes [66.56925105992472]
  本稿では、物体の動きを再現する映像生成モデル、カメラ視点の変化、時間とともに現れる新しいコンテンツについて述べる。 よくある障害ケースは、コンテンツが時間的一貫性を提供する誘導バイアスに過度に依存するため、決して変化しないことです。
  論文  参考訳（メタデータ） (2022-06-07T16:29:51Z)
• Video Generation from Text Employing Latent Path Construction for Temporal Modeling [70.06508219998778]
  ビデオ生成は、機械学習とコンピュータビジョンの分野における最も困難なタスクの1つである。 本稿では,映像生成の条件形式であるテキストから映像生成の問題に取り組む。 自然言語文からのビデオ生成が人工知能に重要な影響を与えると考えている。
  論文  参考訳（メタデータ） (2021-07-29T06:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。