論文の概要: Learning Stereo Matchability in Disparity Regression Networks
- arxiv url: http://arxiv.org/abs/2008.04800v1
- Date: Tue, 11 Aug 2020 15:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 11:54:06.837331
- Title: Learning Stereo Matchability in Disparity Regression Networks
- Title(参考訳): 異性回帰ネットワークにおけるステレオマッチングの学習
- Authors: Jingyang Zhang, Yao Yao, Zixin Luo, Shiwei Li, Tianwei Shen, Tian
Fang, Long Quan
- Abstract要約: 本稿では,画素ワイドマッチング性を考慮したステレオマッチングネットワークを提案する。
提案したDeep stereo Matchability (DSM) フレームワークは、品質を保証しながら、マッチング結果を改善したり、計算を高速化することができる。
- 参考スコア(独自算出の注目度): 40.08209864470944
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning-based stereo matching has recently achieved promising results, yet
still suffers difficulties in establishing reliable matches in weakly matchable
regions that are textureless, non-Lambertian, or occluded. In this paper, we
address this challenge by proposing a stereo matching network that considers
pixel-wise matchability. Specifically, the network jointly regresses disparity
and matchability maps from 3D probability volume through expectation and
entropy operations. Next, a learned attenuation is applied as the robust loss
function to alleviate the influence of weakly matchable pixels in the training.
Finally, a matchability-aware disparity refinement is introduced to improve the
depth inference in weakly matchable regions. The proposed deep stereo
matchability (DSM) framework can improve the matching result or accelerate the
computation while still guaranteeing the quality. Moreover, the DSM framework
is portable to many recent stereo networks. Extensive experiments are conducted
on Scene Flow and KITTI stereo datasets to demonstrate the effectiveness of the
proposed framework over the state-of-the-art learning-based stereo methods.
- Abstract(参考訳): 学習ベースのステレオマッチングは、最近有望な結果を得たが、テクスチャレス、非ランバータリアン、または閉塞された弱いマッチング可能な領域における信頼性の高いマッチングを確立するのに苦慮している。
本稿では,画素間マッチング性を考慮したステレオマッチングネットワークを提案することで,この課題を解決する。
具体的には、3次元の確率体積から期待とエントロピーの操作を通じて、ネットワークは相違と整合性マップを共同で回帰させる。
次に、学習した減衰をロバスト損失関数として適用し、トレーニングにおける弱整合画素の影響を緩和する。
最後に, 弱整合領域における深さ推定を改善するため, 適合性に着目した不一致補正を導入する。
提案するdeep stereo matchability(dsm)フレームワークは、品質を保証しつつ、マッチング結果を改善したり、計算を加速することができる。
さらに、DSMフレームワークは多くの最近のステレオネットワークに移植可能である。
最先端学習に基づくステレオ手法に対する提案フレームワークの有効性を示すため,シーンフローとkittiステレオデータセットについて広範な実験を行った。
関連論文リスト
- Left-right Discrepancy for Adversarial Attack on Stereo Networks [8.420135490466851]
本稿では,左画像特徴と右画像特徴との差を最大化するために,摂動雑音を発生させる新しい対向攻撃手法を提案する。
実験により,ステレオニューラルネットワークにおいて予測誤差を増大させる手法の優れた性能を示す。
論文 参考訳(メタデータ) (2024-01-14T02:30:38Z) - PointFix: Learning to Fix Domain Bias for Robust Online Stereo
Adaptation [67.41325356479229]
本稿では,PointFixと呼ばれるメタラーニングフレームワークに補助的なポイント選択型ネットワークを導入することを提案する。
簡単に言えば、我々の補助的ネットワークは、メタグラディエントを通じて局所情報を効果的にバックプロパゲートすることで、局所的変異を集中的に修正することを学ぶ。
このネットワークはモデルに依存しないため、プラグイン・アンド・プレイ方式であらゆる種類のアーキテクチャで使用することができる。
論文 参考訳(メタデータ) (2022-07-27T07:48:29Z) - Enhancing Multi-view Stereo with Contrastive Matching and Weighted Focal
Loss [10.847120224170698]
コントラスト学習と特徴マッチングに触発された既存ネットワークの性能向上のための新しい手法を提案する。
提案手法は,ベースラインネットワーク上での最先端性能と大幅な改善を実現する。
論文 参考訳(メタデータ) (2022-06-21T13:10:14Z) - Revisiting Domain Generalized Stereo Matching Networks from a Feature
Consistency Perspective [65.37571681370096]
両視点にまたがる単純な画素単位のコントラスト学習を提案する。
ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。
提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2022-03-21T11:21:41Z) - AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
本稿では,AdaStereoというドメイン適応型アプローチを提案する。
我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。
提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
論文 参考訳(メタデータ) (2021-12-09T15:10:47Z) - Towards Adversarially Robust and Domain Generalizable Stereo Matching by
Rethinking DNN Feature Backbones [14.569829985753346]
本稿では,弱いホワイトボックス攻撃が最先端の手法を失敗させる可能性があることを示す。
提案手法はSceneFlowデータセットとKITTI2015ベンチマークで検証される。
これは、最先端の手法に匹敵する精度を維持しながら、敵の堅牢性を大幅に改善する。
論文 参考訳(メタデータ) (2021-07-31T22:44:18Z) - SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。
具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。
我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文 参考訳(メタデータ) (2021-04-08T16:15:46Z) - Adaptive Deconvolution-based stereo matching Net for Local Stereo
Matching [11.214543038438055]
ディープラーニングベースのローカルステレオマッチング手法では、大きなイメージパッチはステレオマッチング精度が向上する。
アダプティブ・デコンボリューション(Adaptive Deconvolution-based disparity)マッチングネット(ADSMnet)という効率的なCNNベースの構造を提案する。
KITTI 2012 と 2015 のデータセットに対する実験結果から,提案手法が精度と複雑性のトレードオフを良好に達成できることが示されている。
論文 参考訳(メタデータ) (2021-01-01T12:18:53Z) - AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。
我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2020-04-09T16:15:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。