論文の概要: RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos

• arxiv url: http://arxiv.org/abs/2207.11075v1
• Date: Fri, 22 Jul 2022 13:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-25 13:15:19.181672
• Title: RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos
• Title（参考訳）: RealFlow:ビデオからのEMベースのリアルな光フローデータセット生成
• Authors: Yunhui Han, Kunming Luo, Ao Luo, Jiangyu Liu, Haoqiang Fan, Guiming Luo, Shuaicheng Liu
• Abstract要約: RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。 まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。 本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 28.995525297929348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Obtaining the ground truth labels from a video is challenging since the manual annotation of pixel-wise flow labels is prohibitively expensive and laborious. Besides, existing approaches try to adapt the trained model on synthetic datasets to authentic videos, which inevitably suffers from domain discrepancy and hinders the performance for real-world applications. To solve these problems, we propose RealFlow, an Expectation-Maximization based framework that can create large-scale optical flow datasets directly from any unlabeled realistic videos. Specifically, we first estimate optical flow between a pair of video frames, and then synthesize a new image from this pair based on the predicted flow. Thus the new image pairs and their corresponding flows can be regarded as a new training set. Besides, we design a Realistic Image Pair Rendering (RIPR) module that adopts softmax splatting and bi-directional hole filling techniques to alleviate the artifacts of the image synthesis. In the E-step, RIPR renders new images to create a large quantity of training data. In the M-step, we utilize the generated training data to train an optical flow network, which can be used to estimate optical flows in the next E-step. During the iterative learning steps, the capability of the flow network is gradually improved, so is the accuracy of the flow, as well as the quality of the synthesized dataset. Experimental results show that RealFlow outperforms previous dataset generation methods by a considerably large margin. Moreover, based on the generated dataset, our approach achieves state-of-the-art performance on two standard benchmarks compared with both supervised and unsupervised optical flow methods. Our code and dataset are available at https://github.com/megvii-research/RealFlow
• Abstract（参考訳）: ピクセル単位のフローラベルのマニュアルアノテーションは、違法に高価で退屈なため、ビデオから真実のラベルを取得することは難しい。 さらに、既存のアプローチでは、合成データセットのトレーニングされたモデルを、必然的にドメインの不一致に悩まされ、現実世界のアプリケーションのパフォーマンスを阻害する、認証ビデオに適用しようとしています。 そこで本稿では,実写ビデオから直接,大規模光フローデータセットを作成できる期待最大化フレームワークであるrealflowを提案する。 具体的には、まず一対のビデオフレーム間の光フローを推定し、予測されたフローに基づいてこのペアから新しい画像を合成する。 これにより、新しい画像対とその対応する流れを新しいトレーニングセットとみなすことができる。 さらに,画像合成のアーティファクトを軽減するために,ソフトマックススプレイティングと双方向ホールフィリング技術を採用した実写画像ペアレンダリング(RIPR)モジュールを設計する。 Eステップでは、RIPRは新しい画像をレンダリングして大量のトレーニングデータを生成する。 mステップでは、生成されたトレーニングデータを利用して、次のeステップで光フローを推定できる光フローネットワークを訓練する。 反復学習の段階において、フローネットワークの能力は徐々に改善され、フローの精度と合成データセットの品質が向上する。 実験の結果,RealFlowは従来のデータセット生成手法よりもかなり大きなマージンで優れていた。 さらに, 提案手法は, 教師なしおよび教師なしの両方の光学流法と比較して, 2つの標準ベンチマークにおける最先端性能を実現する。 私たちのコードとデータセットはhttps://github.com/megvii-research/realflowで利用可能です。

関連論文リスト

• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• MPI-Flow: Learning Realistic Optical Flow with Multiplane Images [18.310665144874775]
  実世界の画像からリアルな光フローデータセットを生成する。 高度に現実的な新しい画像を生成するため,単視点画像から多平面画像(MPI)と呼ばれる層状深度表現を構築した。 動きの現実性を確保するため,MPI内のカメラと動的物体の動きを分離できる独立な物体運動モジュールを提案する。
  論文  参考訳（メタデータ） (2023-09-13T04:31:00Z)
• Rethinking Optical Flow from Geometric Matching Consistent Perspective [38.014569953980754]
  本稿では,従来の光流量推定法について再考する。 我々は,より優れた特徴表現を持つ光フロー推定(MatchFlow)のための事前学習タスクとして,GIMを使用している。 Sintel クリーンパスと KITTI テストセットの GMA から 11.5% と 10.1% の誤差削減を実現した。
  論文  参考訳（メタデータ） (2023-03-15T06:00:38Z)
• BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation [76.66876888943385]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。 イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
  論文  参考訳（メタデータ） (2023-03-14T09:03:54Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
  AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。 AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-04-29T17:55:23Z)
• OmniFlow: Human Omnidirectional Optical Flow [0.0]
  我々はomniflow: a new synthetic omnidirectional human optical flow datasetを提案する。 レンダリングエンジンに基づいて、テクスチャルーム、キャラクター、アクション、オブジェクト、イルミネーション、モーションボケを備えた自然主義的な3D屋内環境を作成します。 シミュレーションは、家庭内活動の出力画像と、それに対応する前方および後方の光学的流れを有する。
  論文  参考訳（メタデータ） (2021-04-16T08:25:20Z)
• Learning optical flow from still images [53.295332513139925]
  我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。 既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。 我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
  論文  参考訳（メタデータ） (2021-04-08T17:59:58Z)
• DeFlow: Learning Complex Image Degradations from Unpaired Data with Conditional Flows [145.83812019515818]
  本論文では,不対データから画像劣化を学習するDeFlowを提案する。 共有フローデコーダネットワークの潜在空間における劣化過程をモデル化する。 共同画像復元と超解像におけるDeFlowの定式化を検証した。
  論文  参考訳（メタデータ） (2021-01-14T18:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。