論文の概要: CFNet: Cascade and Fused Cost Volume for Robust Stereo Matching
- arxiv url: http://arxiv.org/abs/2104.04314v1
- Date: Fri, 9 Apr 2021 11:38:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-12 14:04:36.125367
- Title: CFNet: Cascade and Fused Cost Volume for Robust Stereo Matching
- Title(参考訳): CFNet:ロバストステレオマッチングのためのカスケードと融合コストボリューム
- Authors: Zhelun Shen, Yuchao Dai, Zhibo Rao
- Abstract要約: ステレオマッチングネットワークのロバスト性を改善するために,カスケードとフューズドのコストボリュームに基づくネットワークCFNetを提案する。
分散に基づく不確実性推定を用いて、次の段階の差分探索空間を適応的に調整する。
提案手法は、最先端の総合性能を達成し、Robust Vision Challenge 2020のステレオタスクで1位を獲得します。
- 参考スコア(独自算出の注目度): 27.313740022587442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the ever-increasing capacity of large-scale annotated datasets has
led to profound progress in stereo matching. However, most of these successes
are limited to a specific dataset and cannot generalize well to other datasets.
The main difficulties lie in the large domain differences and unbalanced
disparity distribution across a variety of datasets, which greatly limit the
real-world applicability of current deep stereo matching models. In this paper,
we propose CFNet, a Cascade and Fused cost volume based network to improve the
robustness of the stereo matching network. First, we propose a fused cost
volume representation to deal with the large domain difference. By fusing
multiple low-resolution dense cost volumes to enlarge the receptive field, we
can extract robust structural representations for initial disparity estimation.
Second, we propose a cascade cost volume representation to alleviate the
unbalanced disparity distribution. Specifically, we employ a variance-based
uncertainty estimation to adaptively adjust the next stage disparity search
space, in this way driving the network progressively prune out the space of
unlikely correspondences. By iteratively narrowing down the disparity search
space and improving the cost volume resolution, the disparity estimation is
gradually refined in a coarse-to-fine manner. When trained on the same training
images and evaluated on KITTI, ETH3D, and Middlebury datasets with the fixed
model parameters and hyperparameters, our proposed method achieves the
state-of-the-art overall performance and obtains the 1st place on the stereo
task of Robust Vision Challenge 2020. The code will be available at
https://github.com/gallenszl/CFNet.
- Abstract(参考訳): 近年,大規模アノテートデータセットの容量の増大がステレオマッチングの大幅な進歩につながった。
しかし、これらの成功の大部分は特定のデータセットに限られており、他のデータセットにうまく当てはまらない。
主な課題は、さまざまなデータセットにわたる大きなドメイン差と不均衡な分散であり、現在のディープステレオマッチングモデルの現実的な適用性を著しく制限している。
本稿では,カスケードとフューズドのコストボリュームに基づくネットワークであるCFNetを提案し,ステレオマッチングネットワークのロバスト性を改善する。
まず、大きなドメイン差に対処するために、コストボリュームの融合表現を提案する。
複数の低分解能密度コスト体積を融合して受容場を拡大することにより、初期差分推定のための頑健な構造表現を抽出できる。
第2に,不均衡分布を緩和するカスケードコスト容積表現を提案する。
具体的には、分散に基づく不確実性推定を用いて、次の段階の不一致探索空間を適応的に調整し、この方法でネットワークを段階的に不一致の空間から逸脱させる。
相違探索空間を反復的に絞り込み、コスト容積分解能を向上させることにより、相違推定を粗大な方法で徐々に洗練する。
同じトレーニングイメージでトレーニングを行い、固定モデルパラメータとハイパーパラメータを用いて、KITTI、ETH3D、ミドルベリーデータセットで評価すると、提案手法は、最先端の全体的な性能を達成し、ロバストビジョンチャレンジ2020のステレオタスクにおける第1位を得る。
コードはhttps://github.com/gallenszl/CFNetで入手できる。
関連論文リスト
- Rectified Iterative Disparity for Stereo Matching [2.8908326904081334]
コストボリュームに基づく不確実性不確実性推定(UEC)を提案する。
画像対から得られるコストボリュームの豊富な類似性情報に基づいて,提案したUCCは,計算コストの低い競合性能を実現することができる。
提案手法を組み合わせた高性能ステレオアーキテクチャDR Stereoを提案する。
論文 参考訳(メタデータ) (2024-06-16T13:47:40Z) - ACVNet: Attention Concatenation Volume for Accurate and Efficient Stereo
Matching [7.39503547452922]
本稿では,余剰情報を抑制するために,相関情報から注意重みを生成する新しいコストボリューム構築手法を提案する。
信頼性の高い注意重みを生成するため,マッチングコストの特異性を改善するため,マルチレベル適応パッチマッチングを提案する。
提案するコスト容積は、ほとんどのステレオマッチングネットワークにシームレスに組み込むことのできる注意結合容積 (ACV) と命名される。
論文 参考訳(メタデータ) (2022-03-04T06:28:58Z) - AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
本稿では,AdaStereoというドメイン適応型アプローチを提案する。
我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。
提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
論文 参考訳(メタデータ) (2021-12-09T15:10:47Z) - Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume
Excitation [65.83008812026635]
本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。
我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-12T14:32:26Z) - SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。
具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。
我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文 参考訳(メタデータ) (2021-04-08T16:15:46Z) - ADCPNet: Adaptive Disparity Candidates Prediction Network for Efficient
Real-Time Stereo Matching [8.046317778069325]
粗粒度法は大規模ネットワークモデルのメモリ制約と速度制限を大幅に緩和した。
以前の粗大な設計では、粗大な格差マップを段階的に洗練するために、一定のオフセットと3つ以上のステージを使用する。
本稿では、より正確な不一致候補が提供される限り、より少ない段階で、粗い一致誤差を効率よく修正できると主張している。
論文 参考訳(メタデータ) (2020-11-18T01:18:52Z) - AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。
我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2020-04-09T16:15:13Z) - JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method [92.15895515035795]
我々は、"4,372"イメージと"1.51万"アノテーションを含む、新しい大規模非制約クラウドカウントデータセット(JHU-CROWD++)を導入する。
本稿では, 残差誤差推定により, 群集密度マップを段階的に生成する新しい群集カウントネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-07T14:59:35Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z) - Learning Inverse Depth Regression for Multi-View Stereo with Correlation
Cost Volume [32.41293572426403]
深層学習は多視点ステレオ(MVS)の深部推論に有効であることが示されている。
しかし、この領域ではスケーラビリティと正確性は依然として未解決の問題である。
ステレオマッチングにおけるグループワイド相関に着想を得て,軽量なコストボリュームを構築するための平均グループワイド相関類似度尺度を提案する。
論文 参考訳(メタデータ) (2019-12-26T01:40:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。