論文の概要: Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and
Application
- arxiv url: http://arxiv.org/abs/2301.11880v1
- Date: Fri, 27 Jan 2023 17:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 14:41:49.838940
- Title: Optical Flow Estimation in 360$^\circ$ Videos: Dataset, Model and
Application
- Title（参考訳）: 360$^\circ$ビデオにおける光フロー推定:データセット,モデル,応用
- Authors: Bin Duan, Keshav Bhandari, Gaowen Liu and Yan Yan
- Abstract要約: 視覚的にも現実的な最初の360$$$of-viewビデオベンチマークデータセット、すなわちFLOW360を提案する。
本稿では,SLOF(Omnidirectional Flow)推定のための新しいSiamese表現学習フレームワークを提案する。
この学習手法は,自我中心のアクティビティ認識タスクにシアム学習スキームと全方位光フロー推定を拡張することによって,より効率的であることがさらに証明された。
- 参考スコア（独自算出の注目度）: 9.99133340779672
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Optical flow estimation has been a long-lasting and fundamental problem in
the computer vision community. However, despite the advances of optical flow
estimation in perspective videos, the 360$^\circ$ videos counterpart remains in
its infancy, primarily due to the shortage of benchmark datasets and the
failure to accommodate the omnidirectional nature of 360$^\circ$ videos. We
propose the first perceptually realistic 360$^\circ$ filed-of-view video
benchmark dataset, namely FLOW360, with 40 different videos and 4,000 video
frames. We then conduct comprehensive characteristic analysis and extensive
comparisons with existing datasets, manifesting FLOW360's perceptual realism,
uniqueness, and diversity. Moreover, we present a novel Siamese representation
Learning framework for Omnidirectional Flow (SLOF) estimation, which is trained
in a contrastive manner via a hybrid loss that combines siamese contrastive and
optical flow losses. By training the model on random rotations of the input
omnidirectional frames, our proposed contrastive scheme accommodates the
omnidirectional nature of optical flow estimation in 360$^\circ$ videos,
resulting in significantly reduced prediction errors. The learning scheme is
further proven to be efficient by expanding our siamese learning scheme and
omnidirectional optical flow estimation to the egocentric activity recognition
task, where the classification accuracy is boosted up to $\sim$26%. To
summarize, we study the optical flow estimation in 360$^\circ$ videos problem
from perspectives of the benchmark dataset, learning model, and also practical
application. The FLOW360 dataset and code are available at
https://siamlof.github.io.
- Abstract（参考訳）: オプティカルフロー推定は、コンピュータビジョンコミュニティにおいて長期にわたり、かつ根本的な問題となっている。
しかし、視線ビデオにおける光学フロー推定の進歩にもかかわらず、360$^\circ$ビデオは、ベンチマークデータセットの不足と360$^\circ$ビデオの全方位特性に適応できないために、まだ初期段階にある。
我々は40の異なるビデオと4,000のビデオフレームを備えた最初のパーセプティヴな360$^\circ$のビデオベンチマークデータセット、flow360を提案する。
次に、FLOW360の知覚的リアリズム、独特性、多様性を示す包括的特徴分析と既存のデータセットとの比較を行った。
さらに,SLOF(Omnidirectional Flow)推定のための新しいSiamese表現学習フレームワークを提案する。
入力全方位フレームのランダムな回転に関するモデルをトレーニングすることにより,360$^\circ$ビデオにおける光フロー推定の全方位特性に対応し,予測誤差を大幅に低減する。
学習手法はさらに,シム学習手法と全方向光フロー推定をエゴセントリックな活動認識タスクに拡張し,その分類精度を$\sim$26%まで向上させることで,効率的であることが証明された。
要約すると,360$^\circ$ビデオ問題における光フロー推定を,ベンチマークデータセット,学習モデル,および実用的応用の観点から検討する。
flow360のデータセットとコードは、https://siamlof.github.ioで入手できる。
関連論文リスト
- BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。
我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。
実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
論文 参考訳（メタデータ） (2024-07-03T22:41:49Z) - OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。
我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
論文 参考訳（メタデータ） (2024-03-26T20:23:48Z) - Skin the sheep not only once: Reusing Various Depth Datasets to Drive
the Learning of Optical Flow [25.23550076996421]
本稿では,光学的フロー推定とステレオマッチングの幾何学的接続を活用することを提案する。
モノクラー深度データセットを仮想的不均一性によってステレオデータに変換する。
また、ステレオデータに仮想カメラの動きを導入し、垂直方向に沿って追加のフローを生成する。
論文 参考訳（メタデータ） (2023-10-03T06:56:07Z) - Spherical Vision Transformer for 360-degree Video Saliency Prediction [17.948179628551376]
本稿では,SalViT360という全方向ビデオのための視覚変換器モデルを提案する。
球面形状を意識した自己認識機構を導入し,全方向の映像を効果的に理解する。
本手法は,全方位の塩分濃度予測にタンジェント画像を用いた最初の試みであり,3つのODV塩分濃度データセットによる実験結果から,最先端の塩分濃度予測と比較して,その有効性を示した。
論文 参考訳（メタデータ） (2023-08-24T18:07:37Z) - Panoramic Vision Transformer for Saliency Detection in 360{\deg} Videos [48.54829780502176]
パノラマ・ビジョン・トランス (PAVER) という新しいフレームワークを提案する。
我々は、変形可能な畳み込みを備えた視覚変換器を用いてエンコーダを設計し、通常のビデオからトレーニング済みのモデルを追加モジュールや微調整なしでアーキテクチャにプラグインできるようにする。
本稿では,VQA-ODVにおける全方位映像品質評価タスクを用いて,従属性予測モデルの有用性を実証する。
論文 参考訳（メタデータ） (2022-09-19T12:23:34Z) - Learning Omnidirectional Flow in 360-degree Video via Siamese
Representation [11.421244426346389]
本稿では,360度視野を持つ最初の知覚合成全方位ベンチマークデータセットFLOW360を提案する。
我々はSLOF(Omnidirectional Flow)のための新しいSiamese表現学習フレームワークを提案する。
提案したフレームワークの有効性を検証し、最先端のアプローチに対して最大40%の性能改善を示す実験である。
論文 参考訳（メタデータ） (2022-08-07T02:24:30Z) - Deep 360$^\circ$ Optical Flow Estimation Based on Multi-Projection
Fusion [10.603670927163002]
本稿では,広範に普及しているVRアプリケーションをサポートするために,ディープニューラルネットワークを用いた360ドル周光フロー推定に焦点を当てる。
異なる投射法を用いて訓練されたモデルにより予測される光の流れを融合する新しい多射影融合フレームワークを提案する。
また、ニューラルネットワークのトレーニングとパノラマ光フロー推定手法の評価を支援するために、最初の大規模パノラマ光フローデータセットを構築した。
論文 参考訳（メタデータ） (2022-07-27T16:48:32Z) - Imposing Consistency for Optical Flow Estimation [73.53204596544472]
プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。
本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
論文 参考訳（メタデータ） (2022-04-14T22:58:30Z) - Learning optical flow from still images [53.295332513139925]
我々は,容易に利用可能な単一の実画像から,高精度な光学的フローアノテーションを迅速かつ多量に生成するフレームワークを提案する。
既知の動きベクトルと回転角を持つ再構成された環境でカメラを仮想的に移動させる。
我々のデータでトレーニングすると、最先端の光フローネットワークは、実データを見るのに優れた一般化を実現する。
論文 参考訳（メタデータ） (2021-04-08T17:59:58Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Revisiting Optical Flow Estimation in 360 Videos [9.997208301312956]
我々は、視点ビデオドメインから360度ビデオドメインへのドメイン適応フレームワークとしてLiteFlowNet360を設計する。
我々は、Kernel Transformer Network(KTN)にインスパイアされた単純なカーネル変換技術を用いて、360度ビデオの固有の歪みに対処する。
実験結果から,提案アーキテクチャを用いた360度ビデオ光流量推定の有望な結果が得られた。
論文 参考訳（メタデータ） (2020-10-15T22:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。