論文の概要: PanoFlow: Learning Optical Flow for Panoramic Images
- arxiv url: http://arxiv.org/abs/2202.13388v1
- Date: Sun, 27 Feb 2022 16:03:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 18:24:53.820521
- Title: PanoFlow: Learning Optical Flow for Panoramic Images
- Title(参考訳): PanoFlow:パノラマ画像のための光フロー学習
- Authors: Hao Shi, Yifan Zhou, Kailun Yang, Yaozu Ye, Xiaoting Yin, Zhe Yin, Shi
Meng, Kaiwei Wang
- Abstract要約: パノラマ画像の光学的流れを学習するための新しいネットワークフレームワークであるパノフローを開発した。
本稿では,フロー歪み増大法 (FDA) と循環フロー推定法 (CFE) を提案する。
提案手法により,確立したFlow360データセット上のEnd-Point-Error(EPE)を26%削減する。
- 参考スコア(独自算出の注目度): 8.009873804948919
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow estimation is a basic task in self-driving and robotics systems,
which enables to temporally interpret the traffic scene. Autonomous vehicles
clearly benefit from the ultra-wide Field of View (FoV) offered by 360-degree
panoramic sensors. However, due to the unique imaging process of panoramic
images, models designed for pinhole images do not directly generalize
satisfactorily to 360-degree panoramic images. In this paper, we put forward a
novel network framework--PanoFlow, to learn optical flow for panoramic images.
To overcome the distortions introduced by equirectangular projection in
panoramic transformation, we design a Flow Distortion Augmentation (FDA)
method. We further propose a Cyclic Flow Estimation (CFE) method by leveraging
the cyclicity of spherical images to infer 360-degree optical flow and
converting large displacement to relatively small displacement. PanoFlow is
applicable to any existing flow estimation method and benefit from the progress
of narrow-FoV flow estimation. In addition, we create and release a synthetic
panoramic dataset Flow360 based on CARLA to facilitate training and
quantitative analysis. PanoFlow achieves state-of-the-art performance. Our
proposed approach reduces the End-Point-Error (EPE) on the established Flow360
dataset by 26%. On the public OmniFlowNet dataset, PanoFlow achieves an EPE of
3.34 pixels, a 53.1% error reduction from the best published result (7.12
pixels). We also validate our method via an outdoor collection vehicle,
indicating strong potential and robustness for real-world navigation
applications. Code and dataset are publicly available at
https://github.com/MasterHow/PanoFlow.
- Abstract(参考訳): 光フロー推定は、交通シーンを時間的に解釈できる自動運転およびロボットシステムの基本課題である。
自動運転車は、360度パノラマセンサーによって提供される超広視野視野(FoV)の恩恵を受けている。
しかしながら、パノラマ画像のユニークな撮像過程のため、ピンホール画像用に設計されたモデルは、360度パノラマ画像に直接一般化しない。
本稿では,パノラマ画像の光学的流れを学習するための新しいネットワークフレームワークPanoFlowを提案する。
パノラマ変換における等角射影による歪みを克服するため,フロー歪み増大法(FDA)を設計した。
さらに、球面画像の循環性を利用して360度光流を推定し、大きな変位を比較的小さな変位に変換するサイクルフロー推定(CFE)手法を提案する。
パノフローは既存のフロー推定法に適用でき、狭FoVフロー推定の進歩の恩恵を受ける。
さらに,carlaに基づく合成パノラマデータセットflow360を作成して公開し,トレーニングと定量的解析を容易にする。
PanoFlowは最先端のパフォーマンスを実現する。
提案手法は、確立されたflow360データセットのエンドポイントエラー(epe)を26%削減する。
パブリックなOmniFlowNetデータセットでは、PanoFlowは3.34ピクセルのEPEを達成しており、最高の出力結果(7.12ピクセル)から53.1%のエラー削減を実現している。
また,本手法を屋外収集車を用いて検証し,現実のナビゲーションアプリケーションに強い可能性と堅牢性を示す。
コードとデータセットはhttps://github.com/masterhow/panoflowで公開されている。
関連論文リスト
- VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow
Estimation [61.660040308290796]
VideoFlowはビデオのための新しい光フロー推定フレームワークである。
まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。
反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
論文 参考訳(メタデータ) (2023-03-15T03:14:30Z) - BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow
Estimation [54.24083734729374]
イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
BlinkSimに基づいて,大規模なトレーニングデータセットと評価ベンチマークBlinkFlowを構築した。
実験の結果、BlinkFlowは最先端手法の一般化性能を平均40%以上改善し、最大90%向上した。
論文 参考訳(メタデータ) (2023-03-14T09:03:54Z) - Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection
Fusion [10.603670927163002]
本稿では,広範に普及しているVRアプリケーションをサポートするために,ディープニューラルネットワークを用いた360ドル周光フロー推定に焦点を当てる。
異なる投射法を用いて訓練されたモデルにより予測される光の流れを融合する新しい多射影融合フレームワークを提案する。
また、ニューラルネットワークのトレーニングとパノラマ光フロー推定手法の評価を支援するために、最初の大規模パノラマ光フローデータセットを構築した。
論文 参考訳(メタデータ) (2022-07-27T16:48:32Z) - RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。
まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。
本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-22T13:33:03Z) - SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。
光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。
本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
論文 参考訳(メタデータ) (2021-10-08T06:16:45Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳(メタデータ) (2021-08-24T07:39:08Z) - OmniFlow: Human Omnidirectional Optical Flow [0.0]
我々はomniflow: a new synthetic omnidirectional human optical flow datasetを提案する。
レンダリングエンジンに基づいて、テクスチャルーム、キャラクター、アクション、オブジェクト、イルミネーション、モーションボケを備えた自然主義的な3D屋内環境を作成します。
シミュレーションは、家庭内活動の出力画像と、それに対応する前方および後方の光学的流れを有する。
論文 参考訳(メタデータ) (2021-04-16T08:25:20Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z) - Panoramic Panoptic Segmentation: Towards Complete Surrounding
Understanding via Unsupervised Contrastive Learning [97.37544023666833]
我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。
完全な周囲の理解は、エージェントに最大限の情報を提供する。
標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-01T09:37:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。