論文の概要: Semi-synthesis: A fast way to produce effective datasets for stereo matching

• arxiv url: http://arxiv.org/abs/2101.10811v1
• Date: Tue, 26 Jan 2021 14:34:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:51:27.586003
• Title: Semi-synthesis: A fast way to produce effective datasets for stereo matching
• Title（参考訳）: 半合成:ステレオマッチングのための効果的なデータセットを生成するための高速な方法
• Authors: Ju He, Enyu Zhou, Liusheng Sun, Fei Lei, Chenyang Liu, Wenxiu Sun
• Abstract要約: 現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。 実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。 実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
• 参考スコア（独自算出の注目度）: 16.602343511350252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stereo matching is an important problem in computer vision which has drawn tremendous research attention for decades. Recent years, data-driven methods with convolutional neural networks (CNNs) are continuously pushing stereo matching to new heights. However, data-driven methods require large amount of training data, which is not an easy task for real stereo data due to the annotation difficulties of per-pixel ground-truth disparity. Though synthetic dataset is proposed to fill the gaps of large data demand, the fine-tuning on real dataset is still needed due to the domain variances between synthetic data and real data. In this paper, we found that in synthetic datasets, close-to-real-scene texture rendering is a key factor to boost up stereo matching performance, while close-to-real-scene 3D modeling is less important. We then propose semi-synthetic, an effective and fast way to synthesize large amount of data with close-to-real-scene texture to minimize the gap between synthetic data and real data. Extensive experiments demonstrate that models trained with our proposed semi-synthetic datasets achieve significantly better performance than with general synthetic datasets, especially on real data benchmarks with limited training data. With further fine-tuning on the real dataset, we also achieve SOTA performance on Middlebury and competitive results on KITTI and ETH3D datasets.
• Abstract（参考訳）: ステレオマッチングはコンピュータビジョンの重要な問題であり、何十年にもわたって大きな研究の注目を集めてきた。 近年,畳み込みニューラルネットワーク(CNN)を用いたデータ駆動手法が,新たな高さへのステレオマッチングを継続的に進めている。 しかし,データ駆動方式には大量のトレーニングデータが必要であり,画素単位の接地距離の差によるアノテーションの難しさのため,実際のステレオデータにとって容易な作業ではない。 大規模なデータ要求のギャップを埋めるために合成データセットが提案されているが、合成データと実データの間のドメインのばらつきのため、実データセットの微調整はまだ必要である。 本論文では, 合成データセットにおいて, ステレオマッチング性能を向上する鍵となる要素であると同時に, 現実に近い3Dモデリングが重要でないことを明らかにした。 そこで我々は, 合成データと実データとのギャップを最小化するために, 半合成的, 有効かつ高速に大量のデータをリアルタイムなテクスチャで合成する手法を提案する。 広範な実験により,提案する半合成データセットで学習したモデルが,一般的な合成データセット,特にトレーニングデータに制限のある実データベンチマークよりも有意に優れた性能を達成できることが証明された。 実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。

関連論文リスト

• Synthetic Data for Object Classification in Industrial Applications [53.180678723280145]
  オブジェクト分類では、オブジェクトごとに、異なる条件下で、多数の画像を取得することは必ずしも不可能である。 本研究は,学習データセット内の限られたデータに対処するゲームエンジンを用いた人工画像の作成について検討する。
  論文  参考訳（メタデータ） (2022-12-09T11:43:04Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 提案手法は,高解像度画像を用いたImageNetデータセットのサブセットにおいて,勾配マッチング法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
  約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。 データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。 高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
  論文  参考訳（メタデータ） (2022-05-14T13:15:32Z)
• Dataset Distillation by Matching Training Trajectories [75.9031209877651]
  そこで本研究では,実データと同じような状態にネットワークを誘導するために,蒸留データを最適化する新しい定式化を提案する。 ネットワークが与えられたら、蒸留データを何回か繰り返して訓練し、合成訓練されたパラメータと実データで訓練されたパラメータとの距離に関して蒸留データを最適化する。 本手法は既存の手法よりも優れており,高解像度の視覚データを蒸留することができる。
  論文  参考訳（メタデータ） (2022-03-22T17:58:59Z)
• CrossLoc: Scalable Aerial Localization Assisted by Multimodal Synthetic Data [2.554905387213586]
  本稿では,合成データを用いて実世界のカメラポーズを推定する視覚的位置決めシステムを提案する。 データ不足を緩和するために,汎用な合成データ生成ツールTOPO-DataGenを導入する。 また、ポーズ推定のためのクロスモーダル視覚表現学習手法であるCrossLocを導入する。
  論文  参考訳（メタデータ） (2021-12-16T18:05:48Z)
• Fake It Till You Make It: Face analysis in the wild using synthetic data alone [9.081019005437309]
  合成データだけで顔関連コンピュータビジョンを野生で実行可能であることを示す。 本稿では、手続き的に生成された3次元顔モデルと手作り資産の包括的ライブラリを組み合わせることで、前例のないリアリズムによるトレーニング画像のレンダリングを行う方法について述べる。
  論文  参考訳（メタデータ） (2021-09-30T13:07:04Z)
• MLReal: Bridging the gap between training on synthetic data and real data applications in machine learning [1.9852463786440129]
  本稿では,実際のデータ特徴を持つ合成データの教師付きトレーニングを強化するための新しいアプローチについて述べる。 トレーニング段階では、入力データは合成ドメインから、自動相関データは実ドメインからである。 推論/アプリケーション段階では、入力データは実サブセットドメインからであり、自己相関区間の平均は合成データサブセットドメインからである。
  論文  参考訳（メタデータ） (2021-09-11T14:43:34Z)
• Improving Deep Stereo Network Generalization with Geometric Priors [93.09496073476275]
  地上の真実が密集した多様な現実世界のシーンの大規模なデータセットを得ることは困難である。 多くのアルゴリズムは、似たようなシーンや合成データセットの小さな実世界のデータセットに依存している。 本稿では,シーン幾何学の事前知識をエンド・ツー・エンドのステレオネットワークに統合し,ネットワークの一般化を支援することを提案する。
  論文  参考訳（メタデータ） (2020-08-25T15:24:02Z)
• Dataset Condensation with Gradient Matching [36.14340188365505]
  本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。 いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:30:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。