論文の概要: Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective

• arxiv url: http://arxiv.org/abs/2203.10887v1
• Date: Mon, 21 Mar 2022 11:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 17:28:12.027131
• Title: Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective
• Title（参考訳）: 特徴整合性の観点からのドメイン一般化ステレオマッチングネットワークの再検討
• Authors: Jiawei Zhang, Xiang Wang, Xiao Bai, Chen Wang, Lei Huang, Yimin Chen, Lin Gu, Jun Zhou, Tatsuya Harada, Edwin R. Hancock
• Abstract要約: 両視点にまたがる単純な画素単位のコントラスト学習を提案する。 ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。 提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 65.37571681370096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent stereo matching networks achieving impressive performance given sufficient training data, they suffer from domain shifts and generalize poorly to unseen domains. We argue that maintaining feature consistency between matching pixels is a vital factor for promoting the generalization capability of stereo matching networks, which has not been adequately considered. Here we address this issue by proposing a simple pixel-wise contrastive learning across the viewpoints. The stereo contrastive feature loss function explicitly constrains the consistency between learned features of matching pixel pairs which are observations of the same 3D points. A stereo selective whitening loss is further introduced to better preserve the stereo feature consistency across domains, which decorrelates stereo features from stereo viewpoint-specific style information. Counter-intuitively, the generalization of feature consistency between two viewpoints in the same scene translates to the generalization of stereo matching performance to unseen domains. Our method is generic in nature as it can be easily embedded into existing stereo networks and does not require access to the samples in the target domain. When trained on synthetic data and generalized to four real-world testing sets, our method achieves superior performance over several state-of-the-art networks.
• Abstract（参考訳）: 近年のステレオマッチングネットワークは十分なトレーニングデータを備えているが、ドメインシフトに悩まされ、目に見えないドメインに一般化することができない。 我々は,マッチング画素間の特徴整合性を維持することが,ステレオマッチングネットワークの一般化能力を促進する上で重要な要因であると主張する。 ここでは、視点を越えて単純な画素単位のコントラスト学習を提案することにより、この問題に対処する。 ステレオコントラスト特徴損失関数は、同じ3d点の観測である一致画素対の学習特徴間の一貫性を明示的に制限する。 さらに、ステレオビューポイント固有のスタイル情報からステレオ特徴を分離するドメイン間のステレオ特徴の一貫性を維持するために、ステレオ選択的ホワイトニング損失も導入されている。 直観的には、同じシーンにおける2つの視点間の特徴整合性の一般化は、ステレオマッチング性能の非知覚領域への一般化を意味する。 本手法は,既存のステレオネットワークに簡単に組み込むことができ,対象ドメインのサンプルにアクセスする必要がなくなるため,本質的に汎用的である。 合成データをトレーニングし,実世界の4つのテストセットに一般化すると,本手法は複数の最先端ネットワークに対して優れた性能を発揮する。

関連論文リスト

• Playing to Vision Foundation Model's Strengths in Stereo Matching [13.887661472501618]
  本研究は,視覚基礎モデル(VFM)をステレオマッチングに適用するための有効なアプローチを初めて探求した。 当社のViTアダプタは,空間微分,パッチアテンション融合,クロスアテンションの3種類のモジュール上に構築されている。 ViTAStereoは、エラーピクセルのパーセンテージで2番目に高いネットワークであるStereoBaseを約7.9%上回り、耐性は3ピクセルである。
  論文  参考訳（メタデータ） (2024-04-09T12:34:28Z)
• Stereoscopic Universal Perturbations across Different Architectures and Datasets [60.021985610201156]
  本研究では,画像の逆摂動が不均一性推定タスクの深部ステレオマッチングネットワークに与える影響について検討する。 本稿では,データセット内の任意のステレオ画像対に追加されると,ステレオネットワークを騙すことのできる,単一の摂動セットを構築する方法を提案する。 我々の摂動は、最先端のステレオネットワークのD1エラーを1%から87%に増やすことができる。
  論文  参考訳（メタデータ） (2021-12-12T02:11:31Z)
• AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
  本稿では,AdaStereoというドメイン適応型アプローチを提案する。 我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。 提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-09T15:10:47Z)
• Survey on Semantic Stereo Matching / Semantic Depth Estimation [0.0]
  非テクスチャ, 隠蔽, 反射領域における画素対応の発見は, ステレオマッチングにおける大きな課題である。 ステレオマッチングにおけるセマンティックセグメンテーションの利点を活用するために、ディープニューラルネットワークアーキテクチャが提案されている。
  論文  参考訳（メタデータ） (2021-09-21T12:11:56Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• Parallax Attention for Unsupervised Stereo Correspondence Learning [46.035892564279564]
  ステレオ画像対は、3Dシーンキューを左画像と右画像のステレオ対応に符号化する。 近年のCNNベースの手法では,大域にわたるステレオ対応を捉えるために,コストボリューム技術が一般的である。 本稿では, 相違によらずステレオ対応を捉えるために, 汎用パララックスアテンション機構(PAM)を提案する。
  論文  参考訳（メタデータ） (2020-09-16T01:30:13Z)
• StereoGAN: Bridging Synthetic-to-Real Domain Gap by Joint Optimization of Domain Translation and Stereo Matching [56.95846963856928]
  大規模な合成データセットはステレオマッチングに有用であるが、通常は既知のドメインバイアスを導入する。 本稿では,ドメイン翻訳とステレオマッチングネットワークを用いたエンドツーエンドのトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-05T03:11:38Z)
• AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
  AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。 我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-09T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。