論文の概要: MPI-Flow: Learning Realistic Optical Flow with Multiplane Images
- arxiv url: http://arxiv.org/abs/2309.06714v1
- Date: Wed, 13 Sep 2023 04:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 15:33:02.987258
- Title: MPI-Flow: Learning Realistic Optical Flow with Multiplane Images
- Title（参考訳）: MPI-Flow:マルチプレーン画像によるリアルな光学流れの学習
- Authors: Yingping Liang, Jiaming Liu, Debing Zhang, Ying Fu
- Abstract要約: 実世界の画像からリアルな光フローデータセットを生成する。
高度に現実的な新しい画像を生成するため,単視点画像から多平面画像(MPI)と呼ばれる層状深度表現を構築した。
動きの現実性を確保するため,MPI内のカメラと動的物体の動きを分離できる独立な物体運動モジュールを提案する。
- 参考スコア（独自算出の注目度）: 18.310665144874775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The accuracy of learning-based optical flow estimation models heavily relies
on the realism of the training datasets. Current approaches for generating such
datasets either employ synthetic data or generate images with limited realism.
However, the domain gap of these data with real-world scenes constrains the
generalization of the trained model to real-world applications. To address this
issue, we investigate generating realistic optical flow datasets from
real-world images. Firstly, to generate highly realistic new images, we
construct a layered depth representation, known as multiplane images (MPI),
from single-view images. This allows us to generate novel view images that are
highly realistic. To generate optical flow maps that correspond accurately to
the new image, we calculate the optical flows of each plane using the camera
matrix and plane depths. We then project these layered optical flows into the
output optical flow map with volume rendering. Secondly, to ensure the realism
of motion, we present an independent object motion module that can separate the
camera and dynamic object motion in MPI. This module addresses the deficiency
in MPI-based single-view methods, where optical flow is generated only by
camera motion and does not account for any object movement. We additionally
devise a depth-aware inpainting module to merge new images with dynamic objects
and address unnatural motion occlusions. We show the superior performance of
our method through extensive experiments on real-world datasets. Moreover, our
approach achieves state-of-the-art performance in both unsupervised and
supervised training of learning-based models. The code will be made publicly
available at: \url{https://github.com/Sharpiless/MPI-Flow}.
- Abstract（参考訳）: 学習に基づく光フロー推定モデルの精度は、トレーニングデータセットのリアリズムに大きく依存する。
このようなデータセットを生成する現在のアプローチでは、合成データを使用するか、リアリズムに制限のあるイメージを生成する。
しかし、これらのデータと実世界のシーンとのドメインギャップは、訓練されたモデルの現実のアプリケーションへの一般化を妨げている。
この問題に対処するために,実世界の画像からリアルな光フローデータセットを生成することを検討する。
まず、高度にリアルな新しい画像を生成するために、単視点画像からマルチプレーン画像(mpi)と呼ばれる階層化された深度表現を構築する。
これにより、非常にリアルな新しいビュー画像を生成することができます。
新しい画像に正確に対応した光フローマップを生成するために、カメラマトリクスと平面深度を用いて各平面の光フローを計算する。
次に、これらの層状光フローをボリュームレンダリングで出力光フローマップに投影する。
第二に、動作の現実性を確保するために、MPI内のカメラと動的物体の動きを分離できる独立した物体運動モジュールを提示する。
このモジュールは、MPIベースの単一ビュー法では、光学フローはカメラの動きによってのみ発生し、物体の動きを考慮しない。
さらに,動的物体と新しい画像とを融合し,非自然運動の閉塞に対処する深度認識型塗装モジュールを考案した。
実世界のデータセットに関する広範な実験を通じて,提案手法の優れた性能を示す。
さらに,学習ベースモデルの教師なし学習と教師なし学習の両方において,最先端のパフォーマンスを実現する。
コードは以下で公開されている。 \url{https://github.com/Sharpiless/MPI-Flow}。
関連論文リスト
- Transforming Static Images Using Generative Models for Video Salient Object Detection [15.701293552584863]
本研究では,画像成分間の文脈的関係を理解しつつ,静止画像の現実的な変換を画像間拡散モデルで生成できることを示す。
この能力により、モデルは、シーン要素の独立な動きを反映しながらセマンティックな整合性を保ちながら、可塑性光フローを生成することができる。
我々のアプローチは、すべての公開ベンチマークデータセットで最先端のパフォーマンスを実現し、既存のアプローチよりも優れています。
論文 参考訳（メタデータ） (2024-11-21T09:41:33Z) - Improving Unsupervised Video Object Segmentation via Fake Flow Generation [20.89278343723177]
本稿では,単一画像からの擬似光フローをシミュレートする新しいデータ生成手法を提案する。
光フローマップは深度マップに大きく依存していることから着想を得て,各画像の深度マップを精細化し,拡大することにより,偽の光フローを生成する。
論文 参考訳（メタデータ） (2024-07-16T13:32:50Z) - SynFog: A Photo-realistic Synthetic Fog Dataset based on End-to-end Imaging Simulation for Advancing Real-World Defogging in Autonomous Driving [48.27575423606407]
フォトリアリスティックな霧画像を生成するために,エンド・ツー・エンドのシミュレーションパイプラインを導入する。
我々は、スカイライトとアクティブな照明条件の両方を特徴とするSynFogという新しい合成霧データセットを提案する。
実験の結果,SynFogで訓練したモデルでは,視覚知覚と検出精度が優れていた。
論文 参考訳（メタデータ） (2024-03-25T18:32:41Z) - RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。
まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。
本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-07-22T13:33:03Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳（メタデータ） (2021-04-08T17:59:58Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳（メタデータ） (2021-02-04T14:26:42Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。