論文の概要: StereoGAN: Bridging Synthetic-to-Real Domain Gap by Joint Optimization of Domain Translation and Stereo Matching

• arxiv url: http://arxiv.org/abs/2005.01927v1
• Date: Tue, 5 May 2020 03:11:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 14:18:47.448853
• Title: StereoGAN: Bridging Synthetic-to-Real Domain Gap by Joint Optimization of Domain Translation and Stereo Matching
• Title（参考訳）: StereoGAN: ドメイン翻訳とステレオマッチングの併用最適化によるブリッジング合成-リアルドメインギャップ
• Authors: Rui Liu, Chengxi Yang, Wenxiu Sun, Xiaogang Wang, Hongsheng Li
• Abstract要約: 大規模な合成データセットはステレオマッチングに有用であるが、通常は既知のドメインバイアスを導入する。 本稿では,ドメイン翻訳とステレオマッチングネットワークを用いたエンドツーエンドのトレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.95846963856928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale synthetic datasets are beneficial to stereo matching but usually introduce known domain bias. Although unsupervised image-to-image translation networks represented by CycleGAN show great potential in dealing with domain gap, it is non-trivial to generalize this method to stereo matching due to the problem of pixel distortion and stereo mismatch after translation. In this paper, we propose an end-to-end training framework with domain translation and stereo matching networks to tackle this challenge. First, joint optimization between domain translation and stereo matching networks in our end-to-end framework makes the former facilitate the latter one to the maximum extent. Second, this framework introduces two novel losses, i.e., bidirectional multi-scale feature re-projection loss and correlation consistency loss, to help translate all synthetic stereo images into realistic ones as well as maintain epipolar constraints. The effective combination of above two contributions leads to impressive stereo-consistent translation and disparity estimation accuracy. In addition, a mode seeking regularization term is added to endow the synthetic-to-real translation results with higher fine-grained diversity. Extensive experiments demonstrate the effectiveness of the proposed framework on bridging the synthetic-to-real domain gap on stereo matching.
• Abstract（参考訳）: 大規模合成データセットはステレオマッチングに有用であるが、通常は既知のドメインバイアスをもたらす。 CycleGANで表される教師なし画像と画像の変換ネットワークは、ドメインギャップを扱う上で大きな可能性を秘めているが、ピクセル歪みや翻訳後のステレオミスマッチの問題により、この手法をステレオマッチングに一般化することは容易ではない。 本稿では,この課題に取り組むために,ドメイン翻訳とステレオマッチングネットワークを用いたエンドツーエンドトレーニングフレームワークを提案する。 第一に、エンドツーエンドフレームワークにおけるドメイン変換とステレオマッチングネットワークの協調最適化により、前者が最大範囲まで容易になる。 第二に、このフレームワークは2つの新しい損失、すなわち双方向のマルチスケール特徴の再射損失と相関整合損失を導入し、全ての合成ステレオ画像が現実的なものに変換され、エピポーラ制約が維持される。 上記の2つの貢献の効果的な組み合わせは、印象的なステレオ一貫性翻訳と不均一推定精度をもたらす。 また, 正規化項を求めるモードが追加され, より微細な多様性を有する合成から現実への翻訳結果が得られた。 ステレオマッチングにおける合成-実領域間ギャップの橋渡しにおける提案手法の有効性を,広範な実験により実証した。

関連論文リスト

• Toward Real World Stereo Image Super-Resolution via Hybrid Degradation Model and Discriminator for Implied Stereo Image Information [10.957275128743529]
  実世界のステレオ画像の超解像はコンピュータビジョンシステムの性能向上に大きな影響を与えている。 ステレオ画像を改善するために, 単一像超解像の既存の方法を適用することができる。 本稿では,暗黙的ステレオ情報判別器とハイブリッド劣化モデルを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-12-13T07:24:50Z)
• Multi-scale Alternated Attention Transformer for Generalized Stereo Matching [7.493797166406228]
  両視野および単一視野におけるエピポーラ線の影響のバランスをとるために,Alternated Attention U-shaped Transformer (AAUformer) と呼ばれる簡易かつ高効率なネットワークを提案する。 他のモデルと比較して、我々のモデルはいくつかの主要な設計を持っている。 我々はいくつかの主流ステレオマッチングデータセットについて比較研究とアブレーション研究を行った。
  論文  参考訳（メタデータ） (2023-08-06T08:22:39Z)
• Smooth image-to-image translations with latent space interpolations [64.8170758294427]
  マルチドメインイメージ・トゥ・イメージ(I2I)変換は、ターゲットドメインのスタイルに応じてソースイメージを変換することができる。 我々の正規化技術は、最先端のI2I翻訳を大きなマージンで改善できることを示す。
  論文  参考訳（メタデータ） (2022-10-03T11:57:30Z)
• Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective [65.37571681370096]
  両視点にまたがる単純な画素単位のコントラスト学習を提案する。 ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。 提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T11:21:41Z)
• AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
  本稿では,AdaStereoというドメイン適応型アプローチを提案する。 我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。 提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2021-12-09T15:10:47Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• Geometry-Aware Unsupervised Domain Adaptation for Stereo Matching [0.7233897166339268]
  立体クロスアテンション(SCA: Stereoscopic Cross Attention)と呼ばれる,左右の視点で特徴を集約する注意メカニズムを提案する。 SCAは、画像から画像への変換の過程でステレオ画像ペアの幾何学的構造を保存することができる。 SCAによる画像から画像への変換に基づく非監視領域適応の提案の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2021-03-26T08:53:36Z)
• AdaStereo: A Simple and Efficient Approach for Adaptive Stereo Matching [50.06646151004375]
  AdaStereoと呼ばれる新しいドメイン適応パイプラインは、ディープステレオマッチングネットワークにマルチレベル表現をアライメントすることを目的としている。 我々のAdaStereoモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のステレオベンチマークで最先端のクロスドメインパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2020-04-09T16:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。