論文の概要: FoundationStereo: Zero-Shot Stereo Matching

• arxiv url: http://arxiv.org/abs/2501.09898v2
• Date: Tue, 21 Jan 2025 18:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:23:46.909601
• Title: FoundationStereo: Zero-Shot Stereo Matching
• Title（参考訳）: FoundationStereo: ゼロショットステレオマッチング
• Authors: Bowen Wen, Matthew Trepte, Joseph Aribido, Jan Kautz, Orazio Gallo, Stan Birchfield,
• Abstract要約: FoundationStereoはステレオ深度推定の基礎モデルである。 まず,大規模(1Mステレオペア)合成学習データセットを構築した。 その後、スケーラビリティを高めるために、多数のネットワークアーキテクチャコンポーネントを設計します。
• 参考スコア（独自算出の注目度）: 50.79202911274819
• License:
• Abstract: Tremendous progress has been made in deep stereo matching to excel on benchmark datasets through per-domain fine-tuning. However, achieving strong zero-shot generalization - a hallmark of foundation models in other computer vision tasks - remains challenging for stereo matching. We introduce FoundationStereo, a foundation model for stereo depth estimation designed to achieve strong zero-shot generalization. To this end, we first construct a large-scale (1M stereo pairs) synthetic training dataset featuring large diversity and high photorealism, followed by an automatic self-curation pipeline to remove ambiguous samples. We then design a number of network architecture components to enhance scalability, including a side-tuning feature backbone that adapts rich monocular priors from vision foundation models to mitigate the sim-to-real gap, and long-range context reasoning for effective cost volume filtering. Together, these components lead to strong robustness and accuracy across domains, establishing a new standard in zero-shot stereo depth estimation. Project page: https://nvlabs.github.io/FoundationStereo/
• Abstract（参考訳）: ドメインごとの微調整を通じて、ベンチマークデータセットを最適化するディープステレオマッチングにおいて、非常に進歩している。 しかし、他のコンピュータビジョンタスクにおける基礎モデルの目印である強力なゼロショット一般化を実現することは、ステレオマッチングでは依然として困難である。 本稿では,ゼロショットの強い一般化を実現するために設計されたステレオ深度推定の基礎モデルであるFoundationStereoを紹介する。 この目的のために,我々はまず,大規模(1Mステレオペア)合成トレーニングデータセットを構築した。 次に、拡張性を高めるために複数のネットワークアーキテクチャコンポーネントを設計する。例えば、ビジョンファウンデーションモデルからリッチなモノラルの先行を適応して、sim-to-realギャップを緩和するサイドチューニング機能バックボーンや、効率的なコストボリュームフィルタリングのための長距離コンテキスト推論などである。 これらのコンポーネントはドメイン間で強い堅牢性と正確性をもたらし、ゼロショットステレオ深度推定の新しい標準を確立する。 プロジェクトページ: https://nvlabs.github.io/FoundationStereo/

関連論文リスト

• Mono2Stereo: Monocular Knowledge Transfer for Enhanced Stereo Matching [7.840781070208874]
  ステレオマッチング,すなわちMono2Stereoを強化するために,モノラルな知識伝達を活用することを提案する。 合成データ事前学習と実世界のデータ微調整を併用した2段階の学習プロセスによる知識伝達を導入する。 実験の結果,事前学習したモデルでは強いゼロショット能力を示すことがわかった。
  論文  参考訳（メタデータ） (2024-11-14T03:01:36Z)
• Playing to Vision Foundation Model's Strengths in Stereo Matching [13.887661472501618]
  本研究は,視覚基礎モデル(VFM)をステレオマッチングに適用するための有効なアプローチを初めて探求した。 当社のViTアダプタは,空間微分,パッチアテンション融合,クロスアテンションの3種類のモジュール上に構築されている。 ViTAStereoは、エラーピクセルのパーセンテージで2番目に高いネットワークであるStereoBaseを約7.9%上回り、耐性は3ピクセルである。
  論文  参考訳（メタデータ） (2024-04-09T12:34:28Z)
• AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
  本稿では,AdaStereoというドメイン適応型アプローチを提案する。 我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。 提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-09T15:10:47Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• PVStereo: Pyramid Voting Module for End-to-End Self-Supervised Stereo Matching [14.603116313499648]
  本稿では,ピラミッド投票モジュール(PVM)と,OptStereoと呼ばれる新しいDCNNアーキテクチャからなる,堅牢で効果的な自己監督型ステレオマッチング手法を提案する。 具体的には、OptStereoは最初にマルチスケールのコストボリュームを構築し、その後、繰り返し単位を採用し、高分解能で不一致推定を反復的に更新します。 hkust-driveデータセット(大規模な合成ステレオデータセット)を、異なる照明条件と気象条件下で研究目的で収集した。
  論文  参考訳（メタデータ） (2021-03-12T05:27:14Z)
• Reversing the cycle: self-supervised deep stereo through enhanced monocular distillation [51.714092199995044]
  多くの分野において、自己教師付き学習ソリューションは急速に進化し、教師付きアプローチでギャップを埋めている。 本稿では,両者の相互関係を逆転する自己教師型パラダイムを提案する。 深層ステレオネットワークを訓練するために,単分子完備ネットワークを通じて知識を抽出する。
  論文  参考訳（メタデータ） (2020-08-17T07:40:22Z)
• Continual Adaptation for Deep Stereo [52.181067640300014]
  本稿では,難易度と変化の激しい環境に対処するために,深層ステレオネットワークの継続的適応パラダイムを提案する。 我々のパラダイムでは、オンラインモデルに継続的に適応するために必要な学習信号は、右から左への画像ワープや従来のステレオアルゴリズムによって自己監督から得られる。 我々のネットワークアーキテクチャと適応アルゴリズムは、初めてのリアルタイム自己適応型ディープステレオシステムを実現する。
  論文  参考訳（メタデータ） (2020-07-10T08:15:58Z)
• AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
  AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。 我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-09T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。