論文の概要: Parallax Attention for Unsupervised Stereo Correspondence Learning

• arxiv url: http://arxiv.org/abs/2009.08250v2
• Date: Tue, 12 Oct 2021 16:24:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 00:30:57.002933
• Title: Parallax Attention for Unsupervised Stereo Correspondence Learning
• Title（参考訳）: 教師なしステレオ対応学習における視差注意
• Authors: Longguang Wang and Yulan Guo and Yingqian Wang and Zhengfa Liang and Zaiping Lin and Jungang Yang and Wei An
• Abstract要約: ステレオ画像対は、3Dシーンキューを左画像と右画像のステレオ対応に符号化する。 近年のCNNベースの手法では,大域にわたるステレオ対応を捉えるために,コストボリューム技術が一般的である。 本稿では, 相違によらずステレオ対応を捉えるために, 汎用パララックスアテンション機構(PAM)を提案する。
• 参考スコア（独自算出の注目度）: 46.035892564279564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stereo image pairs encode 3D scene cues into stereo correspondences between the left and right images. To exploit 3D cues within stereo images, recent CNN based methods commonly use cost volume techniques to capture stereo correspondence over large disparities. However, since disparities can vary significantly for stereo cameras with different baselines, focal lengths and resolutions, the fixed maximum disparity used in cost volume techniques hinders them to handle different stereo image pairs with large disparity variations. In this paper, we propose a generic parallax-attention mechanism (PAM) to capture stereo correspondence regardless of disparity variations. Our PAM integrates epipolar constraints with attention mechanism to calculate feature similarities along the epipolar line to capture stereo correspondence. Based on our PAM, we propose a parallax-attention stereo matching network (PASMnet) and a parallax-attention stereo image super-resolution network (PASSRnet) for stereo matching and stereo image super-resolution tasks. Moreover, we introduce a new and large-scale dataset named Flickr1024 for stereo image super-resolution. Experimental results show that our PAM is generic and can effectively learn stereo correspondence under large disparity variations in an unsupervised manner. Comparative results show that our PASMnet and PASSRnet achieve the state-of-the-art performance.
• Abstract（参考訳）: ステレオ画像ペアは、3dシーンキューを左右の画像間のステレオ対応に符号化する。 ステレオ画像内の3次元キューを利用するため、最近のcnnベースの手法では、コストボリューム技術を使用して、大きな異種間のステレオ対応を捉えるのが一般的である。 しかし、ベースライン、焦点距離、解像度の異なるステレオカメラでは、差が著しく異なるため、コストボリューム技術で使われる固定された最大差は、大きな差がある異なるステレオ画像ペアを扱うことを妨げている。 本稿では,相違によらずステレオ対応を捉える汎用パララックスアテンション機構(PAM)を提案する。 我々のPAMは、エピポーラの制約とアテンション機構を統合して、エピポーラ線に沿った特徴的類似性を計算し、ステレオ対応を捉える。 PAMに基づいて、ステレオマッチングとステレオ画像の超解像処理のためのパララックス・アテンション・ステレオマッチングネットワーク(PASMnet)とパララックス・アテンション・ステレオ画像超解像ネットワーク(PASSRnet)を提案する。 さらに,ステレオ画像超解像のための大規模データセットFlickr1024を導入する。 実験結果から,我々のPAMは汎用的であり,非教師的手法で多変量でステレオ対応を効果的に学習できることが示唆された。 その結果,PASMnetとPASSRnetは最先端の性能を達成できた。

関連論文リスト

• Stereo Risk: A Continuous Modeling Approach to Stereo Matching [110.22344879336043]
  我々はコンピュータビジョンにおける古典的ステレオマッチング問題を解決するための新しいディープラーニングアプローチであるStereo Riskを紹介する。 ステレオリスクはディープネットワーク,特にマルチモーダル確率分布の相違に対して,ステレオマッチング性能を向上させることを実証する。 総合的な分析により,提案手法の理論的健全性と,各種ベンチマークデータセットにおける最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-03T14:30:47Z)
• Modeling Stereo-Confidence Out of the End-to-End Stereo-Matching Network via Disparity Plane Sweep [31.261772846687297]
  提案手法は, 立体像対の任意のシフトを, 差分マップの対応する量シフトで更新する,という考え方に基づいて構築された。 所望の相違プロファイルと予測された相違プロファイルを比較することで、左右の像のあいまいさのレベルを定量化し、信頼度を測定することができる。
  論文  参考訳（メタデータ） (2024-01-22T14:52:08Z)
• Active-Passive SimStereo -- Benchmarking the Cross-Generalization Capabilities of Deep Learning-based Stereo Methods [26.662129158141763]
  自己相似領域やbland領域は、2つの画像間のパッチの一致を難しくする。 アクティブステレオベースの手法は、シーンに擬似ランダムパターンを投影することでこの問題を軽減する。 このパターンが対向雑音の一形態として振る舞うと、深層学習法の性能に悪影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-09-17T10:30:32Z)
• Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective [65.37571681370096]
  両視点にまたがる単純な画素単位のコントラスト学習を提案する。 ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。 提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T11:21:41Z)
• Neural Disparity Refinement for Arbitrary Resolution Stereo [67.55946402652778]
  本稿では,安価で広範なコンシューマデバイスへの3Dコンピュータビジョンの展開を容易にすることを目的とした,ニューラルディファリティ改善のための新しいアーキテクチャを提案する。 我々のアプローチは任意の出力解像度で洗練された不均一写像を推定できる連続的な定式化に依存している。
  論文  参考訳（メタデータ） (2021-10-28T18:00:00Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• Symmetric Parallax Attention for Stereo Image Super-Resolution [46.20494593243566]
  ステレオ画像対の対称性を利用したステレオ画像SRの性能を向上させる。 ビューの両面を超解するbiPAMを備えたSiameseネットワークを設計する。 4つの公開データセットの実験により,提案手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2020-11-07T16:28:35Z)
• Expanding Sparse Guidance for Stereo Matching [24.74333370941674]
  局所特徴強調のためのRGB画像に関するスパースキューを拡大する新しい空間拡張手法を提案する。 提案手法は,最先端のステレオアルゴリズムを極めてスパースな手法で大幅に向上させる。
  論文  参考訳（メタデータ） (2020-04-24T06:41:11Z)
• AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
  AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。 我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-09T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。