論文の概要: Depth Any Video with Scalable Synthetic Data

• arxiv url: http://arxiv.org/abs/2410.10815v1
• Date: Mon, 14 Oct 2024 17:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 19:24:58.937907
• Title: Depth Any Video with Scalable Synthetic Data
• Title（参考訳）: スケーラブルな合成データによるビデオの深さ
• Authors: Honghui Yang, Di Huang, Wei Yin, Chunhua Shen, Haifeng Liu, Xiaofei He, Binbin Lin, Wanli Ouyang, Tong He,
• Abstract要約: 多様な合成環境からリアルタイムのビデオ深度データをキャプチャする,スケーラブルな合成データパイプラインを開発した。 我々は、生成的ビデオ拡散モデルの強力な先駆を生かして、実世界の動画を効果的に処理する。 我々のモデルは、空間的精度と時間的一貫性の観点から、過去のすべての生成深度モデルより優れている。
• 参考スコア（独自算出の注目度）: 98.42356740981839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video depth estimation has long been hindered by the scarcity of consistent and scalable ground truth data, leading to inconsistent and unreliable results. In this paper, we introduce Depth Any Video, a model that tackles the challenge through two key innovations. First, we develop a scalable synthetic data pipeline, capturing real-time video depth data from diverse synthetic environments, yielding 40,000 video clips of 5-second duration, each with precise depth annotations. Second, we leverage the powerful priors of generative video diffusion models to handle real-world videos effectively, integrating advanced techniques such as rotary position encoding and flow matching to further enhance flexibility and efficiency. Unlike previous models, which are limited to fixed-length video sequences, our approach introduces a novel mixed-duration training strategy that handles videos of varying lengths and performs robustly across different frame rates-even on single frames. At inference, we propose a depth interpolation method that enables our model to infer high-resolution video depth across sequences of up to 150 frames. Our model outperforms all previous generative depth models in terms of spatial accuracy and temporal consistency.
• Abstract（参考訳）: ビデオ深度推定は、一貫性と拡張性のある地上真実データの不足によって長い間妨げられてきた。 本稿では,2つの重要なイノベーションを通じて課題に取り組むモデルであるDepth Any Videoを紹介する。 まず, 多様な合成環境からリアルタイムのビデオ深度データを抽出し, 5秒間のビデオクリップを4万本生成し, それぞれに正確な深度アノテーションを付与する,スケーラブルな合成データパイプラインを開発した。 第2に,実世界の映像を効果的に扱うために生成ビデオ拡散モデルの強力な先行技術を活用し,回転位置符号化やフローマッチングといった高度な技術を統合し,柔軟性と効率を向上させる。 固定長動画列に限られる従来のモデルとは異なり,本手法では,異なるフレーム長の動画を処理し,フレーム単位のフレームレートで頑健に処理する,新しい混合デューレーショントレーニング手法を導入する。 本稿では,最大150フレームのシーケンスにまたがる高解像度映像深度を推定できる深度補間法を提案する。 我々のモデルは、空間的精度と時間的一貫性の観点から、過去のすべての生成深度モデルより優れている。

関連論文リスト

• Video Depth Anything: Consistent Depth Estimation for Super-Long Videos [60.857723250653976]
  超長ビデオにおける高品質で一貫した深度推定のためのビデオ深度推定法を提案する。 我々のモデルは、Depth Anything V2と同様、ビデオ深度とラベルなし画像の合同データセットに基づいて訓練されている。 提案手法は,ゼロショット映像深度推定における新しい最先端技術である。
  論文  参考訳（メタデータ） (2025-01-21T18:53:30Z)
• Video Depth without Video Models [34.11454612504574]
  ビデオ深度推定は、各フレームに濃密な深度を推定することにより、単眼のビデオクリップを3Dに引き上げる。 単一画像潜在拡散モデル(LDM)を最先端のビデオ深度推定器にする方法を示す。 このモデルはRollingDepthと呼ばれ、(i)シングルイメージのLCMから派生したマルチフレーム深度推定器と、非常に短いビデオスニペットを深度スニペットにマッピングする。
  論文  参考訳（メタデータ） (2024-11-28T14:50:14Z)
• DepthCrafter: Generating Consistent Long Depth Sequences for Open-world Videos [51.90501863934735]
  本稿では,オープンワールドビデオの複雑な詳細を伴う時間的に一貫した長深さシーケンスを生成するDepthCrafterを提案する。 オープンワールドビデオの一般化能力は、事前訓練された画像間拡散モデルからビデオ間拡散モデルを訓練することによって達成される。 トレーニング手法により、モデルは、最大110フレームまでの可変長の深度シーケンスを生成し、リアルかつ合成されたデータセットから、正確な深度の詳細と豊富な内容の多様性を抽出することができる。
  論文  参考訳（メタデータ） (2024-09-03T17:52:03Z)
• xGen-VideoSyn-1: High-fidelity Text-to-Video Synthesis with Compressed Representations [120.52120919834988]
  xGen-SynVideo-1(xGen-SynVideo-1)は、テキスト記述からリアルなシーンを生成することができるテキスト・ツー・ビデオ(T2V)生成モデルである。 VidVAEはビデオデータを空間的にも時間的にも圧縮し、視覚トークンの長さを大幅に削減する。 DiTモデルは、空間的および時間的自己アテンション層を取り入れ、異なる時間枠とアスペクト比をまたいだ堅牢な一般化を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T17:55:22Z)
• IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation [136.5813547244979]
  高品質な人中心型ビデオ深度生成のためのIDOL(unIfied Dual-mOdal Latent diffusion)を提案する。 我々のIDOLは2つの新しい設計で構成されている。第一に、デュアルモーダル生成を可能にし、ビデオと深度生成の間の情報交換を最大化する。 次に,映像と深度特徴運動場との整合性を実現する動きの整合性損失を提案する。
  論文  参考訳（メタデータ） (2024-07-15T17:36:54Z)
• NVDS+: Towards Efficient and Versatile Neural Stabilizer for Video Depth Estimation [58.21817572577012]
  ビデオ深度推定は時間的に一貫した深度を推定することを目的としている。 プラグ・アンド・プレイ方式で様々な単一画像モデルから推定される不整合深さを安定化するNVDS+を導入する。 このデータセットには、200万フレーム以上の14,203本のビデオが含まれている。
  論文  参考訳（メタデータ） (2023-07-17T17:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。