論文の概要: Learning optical flow from still images
- arxiv url: http://arxiv.org/abs/2104.03965v1
- Date: Thu, 8 Apr 2021 17:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-09 13:01:24.939838
- Title: Learning optical flow from still images
- Title(参考訳): 静止画像からの光流れの学習
- Authors: Filippo Aleotti, Matteo Poggi, Stefano Mattoccia
- Abstract要約: 我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
- 参考スコア(独自算出の注目度): 53.295332513139925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper deals with the scarcity of data for training optical flow
networks, highlighting the limitations of existing sources such as labeled
synthetic datasets or unlabeled real videos. Specifically, we introduce a
framework to generate accurate ground-truth optical flow annotations quickly
and in large amounts from any readily available single real picture. Given an
image, we use an off-the-shelf monocular depth estimation network to build a
plausible point cloud for the observed scene. Then, we virtually move the
camera in the reconstructed environment with known motion vectors and rotation
angles, allowing us to synthesize both a novel view and the corresponding
optical flow field connecting each pixel in the input image to the one in the
new frame. When trained with our data, state-of-the-art optical flow networks
achieve superior generalization to unseen real data compared to the same models
trained either on annotated synthetic datasets or unlabeled videos, and better
specialization if combined with synthetic images.
- Abstract(参考訳): 本稿では,光フローネットワークをトレーニングするためのデータ不足を取り上げ,ラベル付き合成データセットやラベルなし実ビデオなどの既存の情報源の限界を強調する。
具体的には,手軽に利用可能な実画像から高精度な光学フローアノテーションを迅速かつ大量に生成する枠組みを提案する。
画像が与えられた場合、既製の単眼深度推定ネットワークを用いて、観測シーンのための可視点雲を構築する。
そして、カメラを、既知の動きベクトルと回転角で再構成した環境で仮想的に移動させ、入力画像の各画素と新しいフレームの各画素を接続する新しいビューと対応する光フローフィールドを合成する。
我々のデータでトレーニングすると、最新の光学フローネットワークは、注釈付き合成データセットやラベルなしビデオでトレーニングされたのと同じモデルと比較して、実際のデータを見るのに優れた一般化を実現し、合成画像と組み合わせればより優れた特殊化を実現します。
関連論文リスト
- Skin the sheep not only once: Reusing Various Depth Datasets to Drive
the Learning of Optical Flow [25.23550076996421]
本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。
モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。
また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
論文 参考訳(メタデータ) (2023-10-03T06:56:07Z) - MPI-Flow: Learning Realistic Optical Flow with Multiplane Images [18.310665144874775]
実世界の画像からリアルな光フローデータセットを生成する。
高度に現実的な新しい画像を生成するため,単視点画像から多平面画像(MPI)と呼ばれる層状深度表現を構築した。
動きの現実性を確保するため,MPI内のカメラと動的物体の動きを分離できる独立な物体運動モジュールを提案する。
論文 参考訳(メタデータ) (2023-09-13T04:31:00Z) - RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。
まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。
本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-22T13:33:03Z) - RTMV: A Ray-Traced Multi-View Synthetic Dataset for Novel View Synthesis [104.53930611219654]
約2000の複雑なシーンからレンダリングされた300k画像からなる,新しいビュー合成のための大規模合成データセットを提案する。
データセットは、新しいビュー合成のための既存の合成データセットよりも桁違いに大きい。
高品質な3Dメッシュの4つのソースを使用して、私たちのデータセットのシーンは、カメラビュー、照明、形状、材料、テクスチャの難しいバリエーションを示します。
論文 参考訳(メタデータ) (2022-05-14T13:15:32Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳(メタデータ) (2022-04-14T22:58:30Z) - Optical Flow Dataset Synthesis from Unpaired Images [36.158607790844705]
本稿では,光の流れを教師付きで訓練するために使用できる擬似実画像の訓練セットを構築する新しい手法を提案する。
我々のデータセットは実データから2つの未ペアフレームを使用し、ランダムなワープをシミュレートしてフレームのペアを生成する。
そこで我々は,真理を正確に把握しながら,実データを直接訓練する利点を得る。
論文 参考訳(メタデータ) (2021-04-02T22:19:47Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳(メタデータ) (2020-06-29T12:53:58Z) - Optical Flow in Dense Foggy Scenes using Semi-Supervised Learning [37.25344909016075]
トレーニングプロセスにおいて,光学的流れを伴わない実霧画像を用いた半教師付き深層学習手法を提案する。
本稿では,教師なしデータトレーニングと教師なしデータトレーニングを組み合わせた新しいトレーニング戦略を提案する。
実験結果から,高密度霧場における光学的流れの推定において,本手法は有効であり,最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-04-04T10:44:16Z) - Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。
ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。
合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文 参考訳(メタデータ) (2020-04-01T12:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。