論文の概要: Achieving Domain Robustness in Stereo Matching Networks by Removing Shortcut Learning

• arxiv url: http://arxiv.org/abs/2106.08486v1
• Date: Tue, 15 Jun 2021 23:22:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:36:34.569312
• Title: Achieving Domain Robustness in Stereo Matching Networks by Removing Shortcut Learning
• Title（参考訳）: ショートカット学習の除去によるステレオマッチングネットワークにおけるドメインロバスト性獲得
• Authors: WeiQin Chuah, Ruwan Tennakoon, Alireza Bab-Hadiashar, David Suter
• Abstract要約: 合成領域における特徴の学習は,合成データに示される2つの「ショートカット」の影響を強く受けていることを示す。 このようなショートカットを取り除くことで、最先端のステレオマッチングフレームワークでドメインの堅牢性を実現できることを示す。
• 参考スコア（独自算出の注目度）: 14.497880004212979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning-based stereo matching and depth estimation networks currently excel on public benchmarks with impressive results. However, state-of-the-art networks often fail to generalize from synthetic imagery to more challenging real data domains. This paper is an attempt to uncover hidden secrets of achieving domain robustness and in particular, discovering the important ingredients of generalization success of stereo matching networks by analyzing the effect of synthetic image learning on real data performance. We provide evidence that demonstrates that learning of features in the synthetic domain by a stereo matching network is heavily influenced by two "shortcuts" presented in the synthetic data: (1) identical local statistics (RGB colour features) between matching pixels in the synthetic stereo images and (2) lack of realism in synthetic textures on 3D objects simulated in game engines. We will show that by removing such shortcuts, we can achieve domain robustness in the state-of-the-art stereo matching frameworks and produce a remarkable performance on multiple realistic datasets, despite the fact that the networks were trained on synthetic data, only. Our experimental results point to the fact that eliminating shortcuts from the synthetic data is key to achieve domain-invariant generalization between synthetic and real data domains.
• Abstract（参考訳）: 学習ベースのステレオマッチングと深さ推定ネットワークは、現在、目覚ましい結果で公開ベンチマークを抜いている。 しかし、最先端のネットワークはしばしば合成画像からより困難な実データ領域への一般化に失敗している。 本稿では,実データ性能に対する合成画像学習の効果を分析し,ステレオマッチングネットワークの一般化成功の重要な要因を明らかにすることを目的としている。 ステレオマッチングネットワークによる合成領域の特徴の学習は,(1)合成ステレオ画像中のマッチング画素間の同一局所統計(RGB色特徴)と(2)ゲームエンジンでシミュレートされた3Dオブジェクトの合成テクスチャにおけるリアリズムの欠如の2つの「ショートカット」の影響を強く受けていることを示す証拠を提供する。 このようなショートカットを除去することで、最先端のステレオマッチングフレームワークにおけるドメインの堅牢性を達成でき、ネットワークが合成データのみに基づいてトレーニングされたという事実にもかかわらず、複数の現実的なデータセット上で顕著なパフォーマンスが得られることを示す。 実験結果は,合成データからショートカットを除去することが,合成データ領域と実データ領域とのドメイン不変の一般化を実現する鍵となることを示唆している。

関連論文リスト

• Learn2Synth: Learning Optimal Data Synthesis Using Hypergradients [8.437109106999443]
  合成によるドメインランダム化は、入力画像の領域に関してバイアスのないネットワークをトレーニングするための強力な戦略である。 本稿では,少数の実ラベル付きデータを用いて合成パラメータを学習する新しい手法であるLearner2 Synthを紹介する。 このアプローチにより、トレーニング手順は、セグメンテーションネットワークをトレーニングするためにこれらの実例を使用することなく、実際のラベル付き例の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-11-23T00:52:49Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
  実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。 属性集合上の実データと合成データセットの差について検討する。 興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
  論文  参考訳（メタデータ） (2024-04-23T17:10:49Z)
• Synthetic-to-Real Domain Adaptation for Action Recognition: A Dataset and Baseline Performances [76.34037366117234]
  ロボット制御ジェスチャー(RoCoG-v2)と呼ばれる新しいデータセットを導入する。 データセットは7つのジェスチャークラスの実ビデオと合成ビデオの両方で構成されている。 我々は,最先端の行動認識とドメイン適応アルゴリズムを用いて結果を示す。
  論文  参考訳（メタデータ） (2023-03-17T23:23:55Z)
• Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving [0.11470070927586014]
  特定のコンピュータビジョンタスクのための合成データで訓練されたネットワークは、実世界のデータでテストすると大幅に劣化する。 本稿では,このような手法を改良するための新しい手法を提案し,評価する。 本稿では,このペア選択にセマンティック・インスペクションを効果的に組み込む手法を提案し,モデルの性能向上に寄与する。
  論文  参考訳（メタデータ） (2023-02-08T15:51:54Z)
• Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation [117.3856882511919]
  本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。 SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-06T02:49:06Z)
• Revisiting Domain Generalized Stereo Matching Networks from a Feature Consistency Perspective [65.37571681370096]
  両視点にまたがる単純な画素単位のコントラスト学習を提案する。 ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。 提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T11:21:41Z)
• ITSA: An Information-Theoretic Approach to Automatic Shortcut Avoidance and Domain Generalization in Stereo Matching Networks [14.306250516592305]
  ステレオマッチングネットワークにおける特徴表現の学習は,合成データアーチファクトに大きく影響されていることを示す。 我々は,情報理論的ショートカット回避(ITSA)アプローチを提案し,ショートカット関連情報を特徴表現にエンコードすることを自動的に制限する。 この手法を用いることで、合成データに基づいて純粋に訓練された最先端のステレオマッチングネットワークを効果的に一般化し、以前には見つからなかった実際のデータシナリオを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-01-06T22:03:50Z)
• From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data [58.50411487497146]
  ラベルのない実データと協調する新しい画像デハージングフレームワークを提案する。 まず,特徴表現を3つの成分マップに切り離す不整合画像デハージングネットワーク(DID-Net)を開発する。 そして、無ラベルの実データと協調して単一画像のデハージングを促進するために、不整合平均教師ネットワーク(DMT-Net)を用いる。
  論文  参考訳（メタデータ） (2021-08-06T04:00:28Z)
• Attention-based Adversarial Appearance Learning of Augmented Pedestrians [49.25430012369125]
  本稿では,歩行者認識タスクのための現実的なデータを合成する手法を提案する。 本手法は, 対向的損失によって駆動される注意機構を用いて, ドメインの相違を学習する。 提案手法はこのような不一致に対して頑健であり,視覚的リアリズムと意味的整合性の両方を明らかにする。
  論文  参考訳（メタデータ） (2021-07-06T15:27:00Z)
• Semi-synthesis: A fast way to produce effective datasets for stereo matching [16.602343511350252]
  現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。 実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。 実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
  論文  参考訳（メタデータ） (2021-01-26T14:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。