論文の概要: Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection Fusion

• arxiv url: http://arxiv.org/abs/2208.00776v1
• Date: Wed, 27 Jul 2022 16:48:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-07 14:22:38.866989
• Title: Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection Fusion
• Title（参考訳）: 多射影核融合に基づく深部360$^\circ$光フロー推定
• Authors: Yiheng Li, Connelly Barnes, Kun Huang, Fang-Lue Zhang
• Abstract要約: 本稿では,広範に普及しているVRアプリケーションをサポートするために,ディープニューラルネットワークを用いた360ドル周光フロー推定に焦点を当てる。 異なる投射法を用いて訓練されたモデルにより予測される光の流れを融合する新しい多射影融合フレームワークを提案する。 また、ニューラルネットワークのトレーニングとパノラマ光フロー推定手法の評価を支援するために、最初の大規模パノラマ光フローデータセットを構築した。
• 参考スコア（独自算出の注目度）: 10.603670927163002
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow computation is essential in the early stages of the video processing pipeline. This paper focuses on a less explored problem in this area, the 360$^\circ$ optical flow estimation using deep neural networks to support increasingly popular VR applications. To address the distortions of panoramic representations when applying convolutional neural networks, we propose a novel multi-projection fusion framework that fuses the optical flow predicted by the models trained using different projection methods. It learns to combine the complementary information in the optical flow results under different projections. We also build the first large-scale panoramic optical flow dataset to support the training of neural networks and the evaluation of panoramic optical flow estimation methods. The experimental results on our dataset demonstrate that our method outperforms the existing methods and other alternative deep networks that were developed for processing 360{\deg} content.
• Abstract（参考訳）: ビデオ処理パイプラインの初期段階では,光フロー計算が不可欠である。 本稿では,広範に普及しているVRアプリケーションをサポートするために,深層ニューラルネットワークを用いた360$^\circ$光フロー推定法を提案する。 畳み込みニューラルネットワークを適用する際のパノラマ表現の歪みに対処するために、異なる投影法を用いて訓練されたモデルによって予測される光の流れを融合する新しいマルチプロジェクション融合フレームワークを提案する。 異なる投影の下で光学流の結果に相補的な情報を組み合わせることを学ぶ。 また、ニューラルネットワークのトレーニングとパノラマ光フロー推定手法の評価を支援するために、最初の大規模パノラマ光フローデータセットを構築した。 提案手法は,360{\deg}コンテンツを処理するために開発された既存手法および他のディープネットワークよりも優れていることを示す。

関連論文リスト

• Skin the sheep not only once: Reusing Various Depth Datasets to Drive the Learning of Optical Flow [25.23550076996421]
  本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。 モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。 また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
  論文  参考訳（メタデータ） (2023-10-03T06:56:07Z)
• Sensor-Guided Optical Flow [53.295332513139925]
  本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。 能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:59:57Z)
• Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation [47.984368369734995]
  本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。 このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。 既存の最先端の手法を大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-10T13:37:37Z)
• NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
  本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。 提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2021-09-02T17:54:31Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• PCA Event-Based Otical Flow for Visual Odometry [0.0]
  本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。 提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-05-08T18:30:44Z)
• Self-Supervised Approach for Facial Movement Based Optical Flow [8.19666118455293]
  顔のキーポイントを用いて顔画像の光学的流れグラウンド真理を生成する。 FlowNetSアーキテクチャをトレーニングして、生成されたデータセットのパフォーマンスをテストする。 本研究で得られた光学的流れは表情解析に有望な応用がある。
  論文  参考訳（メタデータ） (2021-05-04T02:38:11Z)
• Model-inspired Deep Learning for Light-Field Microscopy with Application to Neuron Localization [27.247818386065894]
  光フィールド顕微鏡画像を用いた高速かつ堅牢なソースの3Dローカリゼーションを実現するモデルに基づくディープラーニング手法を提案する。 これは畳み込みスパース符号化問題を効率的に解くディープネットワークを開発することによって実現される。 光場からのほ乳類ニューロンの局在化実験により,提案手法が性能,解釈性,効率の向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-03-10T16:24:47Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Cascaded Deep Video Deblurring Using Temporal Sharpness Prior [88.98348546566675]
  提案アルゴリズムは主に,中間潜水フレームと潜水フレームの復元ステップから光フローを推定する。 まず、中間潜伏フレームから光フローを推定し、推定した光フローに基づいて潜伏フレームを復元する深部CNNモデルを開発する。 ビデオデブロアリングのドメイン知識を探索することで、深層CNNモデルをよりコンパクトで効率的なものにすることができることを示す。
  論文  参考訳（メタデータ） (2020-04-06T09:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。