論文の概要: PanoFlow: Learning Optical Flow for Panoramic Images

• arxiv url: http://arxiv.org/abs/2202.13388v1
• Date: Sun, 27 Feb 2022 16:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 18:24:53.820521
• Title: PanoFlow: Learning Optical Flow for Panoramic Images
• Title（参考訳）: PanoFlow:パノラマ画像のための光フロー学習
• Authors: Hao Shi, Yifan Zhou, Kailun Yang, Yaozu Ye, Xiaoting Yin, Zhe Yin, Shi Meng, Kaiwei Wang
• Abstract要約: パノラマ画像の光学的流れを学習するための新しいネットワークフレームワークであるパノフローを開発した。 本稿では,フロー歪み増大法 (FDA) と循環フロー推定法 (CFE) を提案する。 提案手法により,確立したFlow360データセット上のEnd-Point-Error(EPE)を26%削減する。
• 参考スコア（独自算出の注目度）: 8.009873804948919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow estimation is a basic task in self-driving and robotics systems, which enables to temporally interpret the traffic scene. Autonomous vehicles clearly benefit from the ultra-wide Field of View (FoV) offered by 360-degree panoramic sensors. However, due to the unique imaging process of panoramic images, models designed for pinhole images do not directly generalize satisfactorily to 360-degree panoramic images. In this paper, we put forward a novel network framework--PanoFlow, to learn optical flow for panoramic images. To overcome the distortions introduced by equirectangular projection in panoramic transformation, we design a Flow Distortion Augmentation (FDA) method. We further propose a Cyclic Flow Estimation (CFE) method by leveraging the cyclicity of spherical images to infer 360-degree optical flow and converting large displacement to relatively small displacement. PanoFlow is applicable to any existing flow estimation method and benefit from the progress of narrow-FoV flow estimation. In addition, we create and release a synthetic panoramic dataset Flow360 based on CARLA to facilitate training and quantitative analysis. PanoFlow achieves state-of-the-art performance. Our proposed approach reduces the End-Point-Error (EPE) on the established Flow360 dataset by 26%. On the public OmniFlowNet dataset, PanoFlow achieves an EPE of 3.34 pixels, a 53.1% error reduction from the best published result (7.12 pixels). We also validate our method via an outdoor collection vehicle, indicating strong potential and robustness for real-world navigation applications. Code and dataset are publicly available at https://github.com/MasterHow/PanoFlow.
• Abstract（参考訳）: 光フロー推定は、交通シーンを時間的に解釈できる自動運転およびロボットシステムの基本課題である。 自動運転車は、360度パノラマセンサーによって提供される超広視野視野(FoV)の恩恵を受けている。 しかしながら、パノラマ画像のユニークな撮像過程のため、ピンホール画像用に設計されたモデルは、360度パノラマ画像に直接一般化しない。 本稿では,パノラマ画像の光学的流れを学習するための新しいネットワークフレームワークPanoFlowを提案する。 パノラマ変換における等角射影による歪みを克服するため,フロー歪み増大法(FDA)を設計した。 さらに、球面画像の循環性を利用して360度光流を推定し、大きな変位を比較的小さな変位に変換するサイクルフロー推定(CFE)手法を提案する。 パノフローは既存のフロー推定法に適用でき、狭FoVフロー推定の進歩の恩恵を受ける。 さらに,carlaに基づく合成パノラマデータセットflow360を作成して公開し,トレーニングと定量的解析を容易にする。 PanoFlowは最先端のパフォーマンスを実現する。 提案手法は、確立されたflow360データセットのエンドポイントエラー(epe)を26%削減する。 パブリックなOmniFlowNetデータセットでは、PanoFlowは3.34ピクセルのEPEを達成しており、最高の出力結果(7.12ピクセル)から53.1%のエラー削減を実現している。 また,本手法を屋外収集車を用いて検証し,現実のナビゲーションアプリケーションに強い可能性と堅牢性を示す。 コードとデータセットはhttps://github.com/masterhow/panoflowで公開されている。

関連論文リスト

• FlowTurbo: Towards Real-time Flow-Based Image Generation with Velocity Refiner [70.90505084288057]
  フローベースモデルはサンプリングプロセス中により直線的なサンプリング軌道を生成する傾向にある。 擬似修正器やサンプル認識コンパイルなどいくつかの手法を導入し,推論時間をさらに短縮する。 FlowTurboはImageNet上で100(ms/img)で2.12FID、38(ms/img)で3.93FIDに達する
  論文  参考訳（メタデータ） (2024-09-26T17:59:51Z)
• FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
  FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。 私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
  論文  参考訳（メタデータ） (2024-06-01T17:29:29Z)
• VideoFlow: Exploiting Temporal Cues for Multi-frame Optical Flow Estimation [61.660040308290796]
  VideoFlowはビデオのための新しい光フロー推定フレームワークである。 まず、TRiフレーム光フロー(TROF)モジュールを提案し、3フレーム方式で中央フレームの双方向光フローを推定する。 反復流量推定精細化により、個々のTROFに融合した情報をMOPを介して全シーケンスに伝播することができる。
  論文  参考訳（メタデータ） (2023-03-15T03:14:30Z)
• BlinkFlow: A Dataset to Push the Limits of Event-based Optical Flow Estimation [76.66876888943385]
  イベントカメラは、高時間精度、低データレート、高ダイナミックレンジ視覚知覚を提供する。 イベントベース光フローのための大規模データを高速に生成するための新しいシミュレータBlinkSimを提案する。
  論文  参考訳（メタデータ） (2023-03-14T09:03:54Z)
• RealFlow: EM-based Realistic Optical Flow Dataset Generation from Videos [28.995525297929348]
  RealFlowは、ラベルのないリアルなビデオから直接、大規模な光フローデータセットを作成することができるフレームワークである。 まず,一対のビデオフレーム間の光フローを推定し,予測されたフローに基づいて,このペアから新たな画像を生成する。 本手法は,教師付きおよび教師なしの光流法と比較して,2つの標準ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-22T13:33:03Z)
• SCFlow: Optical Flow Estimation for Spiking Camera [50.770803466875364]
  スパイキングカメラは、特に高速シーンのモーション推定において、現実の応用において大きな可能性を秘めている。 光フロー推定は画像ベースおよびイベントベースの視覚において顕著な成功を収めているが、既存の手法はスパイクカメラからのスパイクストリームに直接適用することはできない。 本稿では、スパイキングカメラのための光フロー推定のための新しいディープラーニングパイプラインSCFlowについて述べる。
  論文  参考訳（メタデータ） (2021-10-08T06:16:45Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• OmniFlow: Human Omnidirectional Optical Flow [0.0]
  我々はomniflow: a new synthetic omnidirectional human optical flow datasetを提案する。 レンダリングエンジンに基づいて、テクスチャルーム、キャラクター、アクション、オブジェクト、イルミネーション、モーションボケを備えた自然主義的な3D屋内環境を作成します。 シミュレーションは、家庭内活動の出力画像と、それに対応する前方および後方の光学的流れを有する。
  論文  参考訳（メタデータ） (2021-04-16T08:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。