論文の概要: The Devil in the Details: Simple and Effective Optical Flow Synthetic Data Generation

• arxiv url: http://arxiv.org/abs/2308.07378v1
• Date: Mon, 14 Aug 2023 18:01:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 15:08:17.820297
• Title: The Devil in the Details: Simple and Effective Optical Flow Synthetic Data Generation
• Title（参考訳）: the devil in the details: 単純で効果的な光フロー合成データ生成
• Authors: Kwon Byung-Ki, Kim Sung-Bin, Tae-Hyun Oh
• Abstract要約: 本稿では,光学フローデータセットの要求特性が比較的単純であり,簡易な合成データ生成法を提案する。 2次元動きに基づくデータセットでは、合成データセットを生成するための最も単純だが重要な要素を体系的に分析する。
• 参考スコア（独自算出の注目度）: 19.945859289278534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on dense optical flow has shown significant progress, primarily in a supervised learning manner requiring a large amount of labeled data. Due to the expensiveness of obtaining large scale real-world data, computer graphics are typically leveraged for constructing datasets. However, there is a common belief that synthetic-to-real domain gaps limit generalization to real scenes. In this paper, we show that the required characteristics in an optical flow dataset are rather simple and present a simpler synthetic data generation method that achieves a certain level of realism with compositions of elementary operations. With 2D motion-based datasets, we systematically analyze the simplest yet critical factors for generating synthetic datasets. Furthermore, we propose a novel method of utilizing occlusion masks in a supervised method and observe that suppressing gradients on occluded regions serves as a powerful initial state in the curriculum learning sense. The RAFT network initially trained on our dataset outperforms the original RAFT on the two most challenging online benchmarks, MPI Sintel and KITTI 2015.
• Abstract（参考訳）: 近年の高密度光流の研究は、主に大量のラベル付きデータを必要とする教師あり学習方法において顕著な進展を示している。 大規模な実世界のデータを得るコストが高いため、コンピュータグラフィックスは一般的にデータセットの構築に利用される。 しかし、合成と実の領域ギャップが一般化を現実の場面に限定するという考えが一般的である。 本稿では,光学フローデータセットの要求特性が比較的単純であることを示し,基本操作の合成によってある種の現実性を実現する簡易な合成データ生成法を提案する。 2次元モーションベースデータセットを用いて,合成データセットを生成するための最も単純かつ重要な要素を体系的に解析する。 さらに,隠蔽マスクを教師付き手法で活用する新しい手法を提案し,隠蔽領域の勾配の抑制がカリキュラム学習における強力な初期状態となることを観察する。 RAFTネットワークは、私たちのデータセットでトレーニングされた最初のRAFTよりも、MPI SintelとKITTI 2015の2つの最も難しいオンラインベンチマークでパフォーマンスが向上した。

関連論文リスト

• A New Benchmark: On the Utility of Synthetic Data with Blender for Bare Supervised Learning and Downstream Domain Adaptation [42.2398858786125]
  コンピュータビジョンにおけるディープラーニングは、大規模ラベル付きトレーニングデータの価格で大きな成功を収めた。 制御不能なデータ収集プロセスは、望ましくない重複が存在する可能性のある非IIDトレーニングおよびテストデータを生成する。 これを回避するために、ドメインランダム化による3Dレンダリングによる合成データを生成する方法がある。
  論文  参考訳（メタデータ） (2023-03-16T09:03:52Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• Delving into High-Quality Synthetic Face Occlusion Segmentation Datasets [83.749895930242]
  そこで本研究では,高品質な自然主義的合成隠蔽顔を製造するための2つの手法を提案する。 両手法の有効性とロバスト性を実証的に示す。 我々は,RealOccとRealOcc-Wildという,微細なアノテーションを付加した高精細な実世界の顔データセットを2つ提示する。
  論文  参考訳（メタデータ） (2022-05-12T17:03:57Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• A Scaling Law for Synthetic-to-Real Transfer: A Measure of Pre-Training [52.93808218720784]
  合成から現実への変換学習は,実タスクのための合成画像と接地真実アノテーションを用いた事前学習を行うフレームワークである。 合成画像はデータの不足を克服するが、事前訓練されたモデルで微調整性能がどのようにスケールするかは定かではない。 我々は、合成事前学習データの様々なタスク、モデル、複雑さにおける学習曲線を一貫して記述する、単純で一般的なスケーリング法則を観察する。
  論文  参考訳（メタデータ） (2021-08-25T02:29:28Z)
• Optical Flow Dataset Synthesis from Unpaired Images [36.158607790844705]
  本稿では,光の流れを教師付きで訓練するために使用できる擬似実画像の訓練セットを構築する新しい手法を提案する。 我々のデータセットは実データから2つの未ペアフレームを使用し、ランダムなワープをシミュレートしてフレームのペアを生成する。 そこで我々は,真理を正確に把握しながら,実データを直接訓練する利点を得る。
  論文  参考訳（メタデータ） (2021-04-02T22:19:47Z)
• Semi-synthesis: A fast way to produce effective datasets for stereo matching [16.602343511350252]
  現実に近いテクスチャレンダリングは、ステレオマッチングのパフォーマンスを高める重要な要素です。 実物に近いテクスチャーで大量のデータを合成する効果的かつ高速な方法である半合成法を提案します。 実際のデータセットのさらなる微調整により、MiddleburyのSOTAパフォーマンスとKITTIおよびETH3Dデータセットの競争結果も達成します。
  論文  参考訳（メタデータ） (2021-01-26T14:34:49Z)
• On the Transfer of Disentangled Representations in Realistic Settings [44.367245337475445]
  1Mのシミュレーション画像と1,800以上の注釈付き実世界の画像を備えた新しい高解像度データセットを導入する。 本研究では,非交叉表現学習を現実的な高解像度設定に拡張するために,新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-27T16:15:24Z)
• Deep SVBRDF Estimation on Real Materials [5.37133760455631]
  実データを用いた実験では,合成データのみをトレーニングするネットワークは十分な結果を得るには不十分であることを示す。 実データにネットワーク重みを適応させることが重要であり, 実データ上でのSVBRDF推定手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2020-10-08T17:41:26Z)
• Syn2Real Transfer Learning for Image Deraining using Gaussian Processes [92.15895515035795]
  CNNに基づく画像デライニング手法は,再現誤差や視覚的品質の点で優れた性能を発揮している。 実世界の完全ラベル付き画像デライニングデータセットを取得する上での課題により、既存の手法は合成されたデータのみに基づいて訓練される。 本稿では,ガウス過程に基づく半教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T00:33:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。