論文の概要: VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment

• arxiv url: http://arxiv.org/abs/2501.01949v1
• Date: Fri, 03 Jan 2025 18:52:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 16:38:31.661641
• Title: VideoLifter: Lifting Videos to 3D with Fast Hierarchical Stereo Alignment
• Title（参考訳）: VideoLifter:高速な階層ステレオアライメントで3D動画を3Dにリフティング
• Authors: Wenyan Cong, Kevin Wang, Jiahui Lei, Colton Stearns, Yuanhao Cai, Dilin Wang, Rakesh Ranjan, Matt Feiszli, Leonidas Guibas, Zhangyang Wang, Weiyao Wang, Zhiwen Fan,
• Abstract要約: VideoLifterは、ビデオシーケンスから直接、グローバルスパースから高密度な3D表現に漸進的に最適化する新しいフレームワークである。 フレームやフラグメント間のスパースポイント対応の追跡と伝播によって、VideoLifterはカメラのポーズと3D構造を徐々に洗練する。 このアプローチは、視覚的忠実度と計算効率において、現在の最先端の手法を超越しながら、トレーニング時間を82%以上短縮する。
• 参考スコア（独自算出の注目度）: 62.6737516863285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently reconstructing accurate 3D models from monocular video is a key challenge in computer vision, critical for advancing applications in virtual reality, robotics, and scene understanding. Existing approaches typically require pre-computed camera parameters and frame-by-frame reconstruction pipelines, which are prone to error accumulation and entail significant computational overhead. To address these limitations, we introduce VideoLifter, a novel framework that leverages geometric priors from a learnable model to incrementally optimize a globally sparse to dense 3D representation directly from video sequences. VideoLifter segments the video sequence into local windows, where it matches and registers frames, constructs consistent fragments, and aligns them hierarchically to produce a unified 3D model. By tracking and propagating sparse point correspondences across frames and fragments, VideoLifter incrementally refines camera poses and 3D structure, minimizing reprojection error for improved accuracy and robustness. This approach significantly accelerates the reconstruction process, reducing training time by over 82% while surpassing current state-of-the-art methods in visual fidelity and computational efficiency.
• Abstract（参考訳）: モノクロビデオから正確な3Dモデルを効率的に再構築することは、コンピュータビジョンにおいて重要な課題であり、仮想現実、ロボティクス、シーン理解の進歩に不可欠である。 既存のアプローチでは、通常、事前に計算されたカメラパラメータとフレーム単位の再構築パイプラインが必要です。 これらの制約に対処するために,学習可能なモデルから幾何的先行情報を活用する新しいフレームワークであるVideoLifterを導入し,ビデオシーケンスから直接,グローバルスパースから高密度な3D表現へ漸進的に最適化する。 VideoLifterはビデオシーケンスをローカルウィンドウに分割し、フレームにマッチして登録し、一貫したフラグメントを構築し、階層的に調整して統一された3Dモデルを生成する。 フレームとフラグメント間のスパースポイント対応の追跡と伝播により、VideoLifterはカメラのポーズと3D構造を段階的に洗練し、精度とロバスト性を改善するために再投影誤差を最小化する。 このアプローチは、視覚的忠実度と計算効率において、現在の最先端の手法を超越しながら、トレーニング時間を82%以上短縮する。

関連論文リスト

• GaussVideoDreamer: 3D Scene Generation with Video Diffusion and Inconsistency-Aware Gaussian Splatting [17.17292309504131]
  GaussVideoDreamerは、画像、ビデオ、および3D生成のギャップを埋めることで、生成的マルチメディアアプローチを前進させる。 提案手法は,LLaVA-IQAスコアの32%,既存の手法に比べて少なくとも2倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-04-14T09:04:01Z)
• GaussianVideo: Efficient Video Representation via Hierarchical Gaussian Splatting [28.981174430968643]
  本稿では,3次元ガウススプラッティングと連続カメラモーションモデリングを組み合わせたニューラル表現を提案する。 実験結果から,我々の階層的学習と堅牢なカメラモーションモデリングが組み合わさって,時間的一貫性の強い複雑な動的シーンを捉えていることがわかった。 このメモリ効率のアプローチは、印象的な速度で高品質なレンダリングを実現する。
  論文  参考訳（メタデータ） (2025-01-08T19:01:12Z)
• Wonderland: Navigating 3D Scenes from a Single Image [43.99037613068823]
  本研究では,映像拡散モデルから潜伏木を用いた大規模再構成モデルを導入し,シーンの3次元ガウススプラッティングを予測する。 プログレッシブトレーニング戦略により,映像潜時空間上での3D再構成モデルをトレーニングし,高品質,広スコープ,汎用的な3Dシーンの効率的な生成を可能にする。
  論文  参考訳（メタデータ） (2024-12-16T18:58:17Z)
• HiCoM: Hierarchical Coherent Motion for Streamable Dynamic Scene with 3D Gaussian Splatting [7.507657419706855]
  本稿では,HiCoMと呼ばれる3つの重要なコンポーネントを持つ効率的なフレームワークを提案する。 まず、摂動平滑化戦略を用いて、コンパクトで頑健な初期3DGS表現を構築する。 次に、3次元ガウスの固有非一様分布と局所的一貫性を利用する階層的コヒーレント運動機構を導入する。 2つの広く利用されているデータセットを用いて行った実験により、我々のフレームワークは最先端の手法の学習効率を約20%向上することが示された。
  論文  参考訳（メタデータ） (2024-11-12T04:40:27Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• ReconX: Reconstruct Any Scene from Sparse Views with Video Diffusion Model [16.14713604672497]
  ReconXは、時間生成タスクとして曖昧な再構築課題を再編成する、新しい3Dシーン再構築パラダイムである。 提案したReconXはまずグローバルポイントクラウドを構築し、3D構造条件としてコンテキスト空間にエンコードする。 この条件に導かれ、ビデオ拡散モデルは、ディテール保存され、高い3D一貫性を示すビデオフレームを合成する。
  論文  参考訳（メタデータ） (2024-08-29T17:59:40Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• A Simple Recipe for Contrastively Pre-training Video-First Encoders Beyond 16 Frames [57.758863967770594]
  我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。 1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
  論文  参考訳（メタデータ） (2023-12-12T16:10:19Z)
• Diffusion-Guided Reconstruction of Everyday Hand-Object Interaction Clips [38.02945794078731]
  短いビデオクリップから手動物体のインタラクションを再構築する作業に取り組む。 提案手法は,映像ごとの3D推論を最適化し,物体形状のニューラルな3D表現を復元する。 我々は、エゴセントリックビデオに対する我々のアプローチを実証的に評価し、以前のシングルビュー法やマルチビュー法よりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2023-09-11T17:58:30Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• Condensing a Sequence to One Informative Frame for Video Recognition [113.3056598548736]
  本稿では,まず映像シーケンスを情報的「フレーム」に凝縮する2段階の代替手法について検討する。 有効な疑問は、どのように「有用な情報」を定義し、シーケンスから1つの合成フレームに蒸留するかである。 IFSは画像ベースの2Dネットワークとクリップベースの3Dネットワークを一貫して改善している。
  論文  参考訳（メタデータ） (2022-01-11T16:13:43Z)
• Video Autoencoder: self-supervised disentanglement of static 3D structure and motion [60.58836145375273]
  ビデオから3次元構造とカメラポーズの遠心分離表現を学習するために,ビデオオートエンコーダを提案する。 この表現は、新しいビュー合成、カメラポーズ推定、動きの追従によるビデオ生成など、様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:57:42Z)
• Learning monocular 3D reconstruction of articulated categories from motion [39.811816510186475]
  ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。 少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。 多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
  論文  参考訳（メタデータ） (2021-03-30T13:50:27Z)
• Spatiotemporal Bundle Adjustment for Dynamic 3D Human Reconstruction in the Wild [49.672487902268706]
  本稿では,カメラの時間的アライメントと3次元点三角測量を共同で推定する枠組みを提案する。 複数の無同期・無同期ビデオカメラで捉えたイベントにおいて、人間の身体の3次元運動軌跡を再構成する。
  論文  参考訳（メタデータ） (2020-07-24T23:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。