論文の概要: Pseudo-Stereo Inputs: A Solution to the Occlusion Challenge in Self-Supervised Stereo Matching

• arxiv url: http://arxiv.org/abs/2410.02534v1
• Date: Thu, 3 Oct 2024 14:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 02:41:38.656112
• Title: Pseudo-Stereo Inputs: A Solution to the Occlusion Challenge in Self-Supervised Stereo Matching
• Title（参考訳）: Pseudo-Stereo Inputs: 自己監督ステレオマッチングにおけるOcclusion Challengeの解法
• Authors: Ruizhi Yang, Xingqiang Li, Jiajun Bai, Jinsong Du,
• Abstract要約: 自己教師型ステレオマッチングは、応用と研究に非常に有望である。 光量損失関数に基づく自己教師付きステレオマッチングのパラダイムは、常に性能問題に悩まされてきた。 本稿では,コアオクルージョン問題に対処する,シンプルで効果的な擬似ステレオ入力方式を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised stereo matching holds great promise for application and research due to its independence from expensive labeled data. However, direct self-supervised stereo matching paradigms based on photometric loss functions have consistently struggled with performance issues due to the occlusion challenge. The crux of the occlusion challenge lies in the fact that the positions of occluded pixels consistently align with the epipolar search direction defined by the input stereo images, leading to persistent information loss and erroneous feedback at fixed locations during self-supervised training. In this work, we propose a simple yet highly effective pseudo-stereo inputs strategy to address the core occlusion challenge. This strategy decouples the input and feedback images, compelling the network to probabilistically sample information from both sides of the occluding objects. As a result, the persistent lack of information in the aforementioned fixed occlusion areas is mitigated. Building upon this, we further address feedback conflicts and overfitting issues arising from the strategy. By integrating these components, our method achieves stable and significant performance improvements compared to existing methods. Quantitative experiments are conducted to evaluate the performance. Qualitative experiments further demonstrate accurate disparity inference even at occluded regions. These results demonstrate a significant advancement over previous methods in the field of direct self-supervised stereo matching based on photometric loss. The proposed pseudo-stereo inputs strategy, due to its simplicity and effectiveness, has the potential to serve as a new paradigm for direct self-supervised stereo matching. Code is available at https://github.com/qrzyang/Pseudo-Stereo.
• Abstract（参考訳）: 自己教師型ステレオマッチングは、高価なラベル付きデータから独立しているため、アプリケーションと研究にとって非常に有望である。 しかし、光学的損失関数に基づく自己監督型ステレオマッチングのパラダイムは、オクルージョン問題により、常に性能問題に悩まされてきた。 隠蔽画素の位置が入力ステレオ画像によって定義されるエピポーラ探索方向と一貫して一致していることが、自己監督訓練中の固定位置での情報損失と誤フィードバックをもたらすという事実による。 本研究では,コアオクルージョン問題に対処するため,単純な擬似ステレオ入力方式を提案する。 この戦略は、入力とフィードバックの画像を分離し、ネットワークに隠蔽対象の両側から情報を確率的にサンプリングするように促す。 その結果、上記固定閉塞領域における情報の持続的欠如が軽減される。 これに基づいて、我々は、この戦略から生じるフィードバックの矛盾と過度に適合する問題にさらに対処します。 これらのコンポーネントを統合することで,既存手法に比べて安定かつ大幅な性能向上を実現している。 性能評価のための定量的実験を行った。 定性的実験はさらに、閉鎖領域においても正確な不均一性推論を示す。 これらの結果は,光度損失に基づく直接自己教師型ステレオマッチングの分野において,従来の手法よりも顕著に進歩したことを示す。 提案した擬似ステレオ入力戦略は、その単純さと有効性から、直接自己教師型ステレオマッチングのための新しいパラダイムとして機能する可能性がある。 コードはhttps://github.com/qrzyang/Pseudo-Stereo.comで入手できる。

関連論文リスト

• Learning Feature Recovery Transformer for Occluded Person Re-identification [71.18476220969647]
  本稿では,FRT(Feature Recovery Transformer)と呼ばれる2つの課題を同時に解決する手法を提案する。 特徴マッチング時のノイズの干渉を低減するため,両画像に現れる可視領域に着目し,類似性を計算するための可視グラフを開発した。 2つ目の課題は、グラフの類似性に基づいて、各クエリ画像に対して、ギャラリー内の$k$-nearestの隣人の特徴セットを利用して、完全な特徴を復元するリカバリトランスフォーマを提案することである。
  論文  参考訳（メタデータ） (2023-01-05T02:36:16Z)
• Dynamic Feature Pruning and Consolidation for Occluded Person Re-Identification [21.006680330530852]
  本研究では, 明示的な人間の構造解析を回避するために, 機能解析・統合(FPC)フレームワークを提案する。 フレームワークは主にスパースエンコーダ、マルチビュー機能mathcingモジュール、フィーチャーコンソリデーションデコーダで構成されている。 提案手法は,Occluded-Dukeデータセットにおいて,少なくとも8.6% mAPと6.0% Rank-1の精度で最新結果より優れる。
  論文  参考訳（メタデータ） (2022-11-27T06:18:40Z)
• Degradation-agnostic Correspondence from Resolution-asymmetric Stereo [96.03964515969652]
  テレワイドカメラシステムで取得した解像度の異なる2枚の画像からステレオマッチングの問題を考察する。 特徴量整合性という画像空間の代わりに特徴空間に2つのビュー間の整合性を課すことを提案する。 測光損失をトレーニングしたステレオマッチングネットワークは最適ではないが, 特徴抽出器は劣化に依存しない, マッチング特有の特徴を生成できる。
  論文  参考訳（メタデータ） (2022-04-04T12:24:34Z)
• Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective [65.37571681370096]
  両視点にまたがる単純な画素単位のコントラスト学習を提案する。 ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。 提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T11:21:41Z)
• AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
  本稿では,AdaStereoというドメイン適応型アプローチを提案する。 我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。 提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-09T15:10:47Z)
• Towards Adversarially Robust and Domain Generalizable Stereo Matching by Rethinking DNN Feature Backbones [14.569829985753346]
  本稿では,弱いホワイトボックス攻撃が最先端の手法を失敗させる可能性があることを示す。 提案手法はSceneFlowデータセットとKITTI2015ベンチマークで検証される。 これは、最先端の手法に匹敵する精度を維持しながら、敵の堅牢性を大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-31T22:44:18Z)
• H-Net: Unsupervised Attention-based Stereo Depth Estimation Leveraging Epipolar Geometry [4.968452390132676]
  本稿では,教師なしステレオ深度推定のためのディープラーニングフレームワークであるH-Netを紹介する。 初めて、Siameseオートエンコーダアーキテクチャが深さ推定に使用されます。 本手法は,最先端の非監視ステレオ深度推定法を上回っている。
  論文  参考訳（メタデータ） (2021-04-22T19:16:35Z)
• Geometry-based Occlusion-Aware Unsupervised Stereo Matching for Autonomous Driving [26.787020338316815]
  閉塞処理はステレオマッチングにおいて特に教師なし手法では難しい問題である。 我々は,隠蔽領域を検出する効果的な方法を導入し,隠蔽領域に対処する新しい教師なしトレーニング戦略を提案する。 我々の手法はステレオマッチングの他の教師なし手法よりも優れています。
  論文  参考訳（メタデータ） (2020-10-21T01:22:55Z)
• Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem Formulation [53.850686395708905]
  イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。 本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。 我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
  論文  参考訳（メタデータ） (2020-09-23T10:40:03Z)
• AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
  AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。 我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-09T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。