論文の概要: Stereo Any Video: Temporally Consistent Stereo Matching

• arxiv url: http://arxiv.org/abs/2503.05549v1
• Date: Fri, 07 Mar 2025 16:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:56:34.111777
• Title: Stereo Any Video: Temporally Consistent Stereo Matching
• Title（参考訳）: Stereo Any Video: 一時的に一貫性のあるステレオマッチング
• Authors: Junpeng Jing, Weixun Luo, Ye Mao, Krystian Mikolajczyk,
• Abstract要約: 本稿では,ビデオステレオマッチングのための強力なフレームワークであるStereo Any Videoを紹介する。 カメラのポーズや光の流れといった補助的な情報に頼ることなく、空間的精度と時間的整合性を推定することができる。 主要なアーキテクチャ革新は、スムーズでロバストなコストボリュームを構成する全対対相関と、時間的コヒーレンスを改善する時間的凸アップサンプリングである。
• 参考スコア（独自算出の注目度）: 15.876953256378224
• License:
• Abstract: This paper introduces Stereo Any Video, a powerful framework for video stereo matching. It can estimate spatially accurate and temporally consistent disparities without relying on auxiliary information such as camera poses or optical flow. The strong capability is driven by rich priors from monocular video depth models, which are integrated with convolutional features to produce stable representations. To further enhance performance, key architectural innovations are introduced: all-to-all-pairs correlation, which constructs smooth and robust matching cost volumes, and temporal convex upsampling, which improves temporal coherence. These components collectively ensure robustness, accuracy, and temporal consistency, setting a new standard in video stereo matching. Extensive experiments demonstrate that our method achieves state-of-the-art performance across multiple datasets both qualitatively and quantitatively in zero-shot settings, as well as strong generalization to real-world indoor and outdoor scenarios.
• Abstract（参考訳）: 本稿では,ビデオステレオマッチングのための強力なフレームワークであるStereo Any Videoを紹介する。 カメラのポーズや光の流れといった補助的な情報に頼ることなく、空間的精度と時間的整合性を推定することができる。 強力な能力は、単一のビデオ深度モデルからの豊富な先行によって駆動され、安定した表現を生成するために畳み込み機能と統合される。 パフォーマンスをさらに向上するため、スムーズでロバストなコストボリュームを構成するオール・ツー・オール・ペア相関や、時間的コヒーレンスを改善する時間的凸アップサンプリングといった重要なアーキテクチャ革新が導入されている。 これらのコンポーネントは総じて堅牢性、正確性、時間的整合性を確保し、ビデオステレオマッチングの新しい標準を設定する。 広汎な実験により,本手法は実世界の屋内・屋外シナリオへの強力な一般化とともに,ゼロショット設定における定性的・定量的に複数のデータセットをまたいだ最先端性能を実現することが実証された。

関連論文リスト

• Feed-Forward Bullet-Time Reconstruction of Dynamic Scenes from Monocular Videos [101.48581851337703]
  動的シーンのリアルタイム再構成と新しいビュー合成のための,モーション対応フィードフォワードモデルであるBTimerを提案する。 提案手法は,すべてのコンテキストフレームから情報を集約することにより,所定の目標("bullet')タイムスタンプにおける3次元ガウススティング表現の全体像を再構成する。 カジュアルなモノクロのダイナミックビデオが与えられた後、BTimerは150ms以内の弾道時間シーンを再構築し、静的および動的両方のシーンデータセットで最先端のパフォーマンスに到達した。
  論文  参考訳（メタデータ） (2024-12-04T18:15:06Z)
• Match Stereo Videos via Bidirectional Alignment [15.876953256378224]
  最近の学習に基づく手法は、独立ステレオペアのパフォーマンスの最適化に重点を置いており、ビデオの時間的矛盾につながる。 本稿では,新しいビデオ処理フレームワークBiDAStereoとプラグイン安定化ネットワークBiDAStabilizerを紹介する。 本稿では,自然景観に着目したリアルな合成データセットとベンチマークと,様々な都市景観のステレオカメラが捉えた実世界のデータセットを定性評価として提示する。
  論文  参考訳（メタデータ） (2024-09-30T13:37:29Z)
• Match-Stereo-Videos: Bidirectional Alignment for Consistent Dynamic Stereo Matching [17.344430840048094]
  最近の学習に基づく手法では, 一つのステレオペア上での最適性能が優先され, 時間的矛盾が生じている。 本研究では,隣接フレームの双方向アライメント機構を基本動作として開発する。 既存の手法とは異なり、我々はこのタスクを局所的なマッチングとグローバルアグリゲーションとしてモデル化する。
  論文  参考訳（メタデータ） (2024-03-16T01:38:28Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)
• Stereo Matching in Time: 100+ FPS Video Stereo Matching for Extended Reality [65.70936336240554]
  リアルタイムステレオマッチング(Real-time Stereo Matching)は、屋内3D理解、ビデオパススルー、混合現実感ゲームなど、多くの拡張現実感(XR)アプリケーションのための基盤となるアルゴリズムである。 最大の課題の1つは、ヘッドマウントのVR/ARメガネによってキャプチャされた高品質な屋内ビデオステレオトレーニングデータセットの欠如である。 室内シーンのレンダリングと6-DoF移動VR/ARヘッドマウントディスプレイ(HMD)によるリアルなカメラモーションを含む,新しいステレオ合成データセットを提案する。 これにより既存のアプローチの評価が促進され、屋内拡張現実シナリオのさらなる研究が促進される。
  論文  参考訳（メタデータ） (2023-09-08T07:53:58Z)
• Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
  高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。 我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。 提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-07-17T04:02:00Z)
• DynamicStereo: Consistent Dynamic Depth from Stereo Videos [91.1804971397608]
  ステレオビデオの相違を推定するためにDynamicStereoを提案する。 ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。 スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
  論文  参考訳（メタデータ） (2023-05-03T17:40:49Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。