論文の概要: SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2304.14418v1
• Date: Wed, 26 Apr 2023 23:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-01 16:24:21.817291
• Title: SSTM: Spatiotemporal Recurrent Transformers for Multi-frame Optical Flow Estimation
• Title（参考訳）: SSTM:多フレーム光フロー推定のための時空間リカレント変圧器
• Authors: Fisseha Admasu Ferede, Madhusudhanan Balasubramanian
• Abstract要約: クローズド領域および外界領域における光流量推定は、光流量推定アルゴリズムの現在の重要な限界の2つである。 最近の最先端の光学フロー推定アルゴリズムは、連続した画像対ごとに連続して光フローを推定する2フレームベースの手法である。 多フレーム画像列から2つ以上の連続する光フローを並列に推定する学習型多フレーム光フロー推定法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inaccurate optical flow estimates in and near occluded regions, and out-of-boundary regions are two of the current significant limitations of optical flow estimation algorithms. Recent state-of-the-art optical flow estimation algorithms are two-frame based methods where optical flow is estimated sequentially for each consecutive image pair in a sequence. While this approach gives good flow estimates, it fails to generalize optical flows in occluded regions mainly due to limited local evidence regarding moving elements in a scene. In this work, we propose a learning-based multi-frame optical flow estimation method that estimates two or more consecutive optical flows in parallel from multi-frame image sequences. Our underlying hypothesis is that by understanding temporal scene dynamics from longer sequences with more than two frames, we can characterize pixel-wise dependencies in a larger spatiotemporal domain, generalize complex motion patterns and thereby improve the accuracy of optical flow estimates in occluded regions. We present learning-based spatiotemporal recurrent transformers for multi-frame based optical flow estimation (SSTMs). Our method utilizes 3D Convolutional Gated Recurrent Units (3D-ConvGRUs) and spatiotemporal transformers to learn recurrent space-time motion dynamics and global dependencies in the scene and provide a generalized optical flow estimation. When compared with recent state-of-the-art two-frame and multi-frame methods on real world and synthetic datasets, performance of the SSTMs were significantly higher in occluded and out-of-boundary regions. Among all published state-of-the-art multi-frame methods, SSTM achieved state-of the-art results on the Sintel Final and KITTI2015 benchmark datasets.
• Abstract（参考訳）: 光流量推定アルゴリズムの現在における重要な限界の2つは、外接領域および外接領域における不正確な光流量推定である。 最近の最先端光フロー推定アルゴリズムは、連続した画像対ごとに連続的に光フローを推定する2フレーム法である。 このアプローチは良好なフロー推定を与えるが、主にシーン内の移動要素に関する限られた局所的な証拠のため、閉鎖領域における光学フローの一般化には失敗する。 本研究では,複数フレーム画像列から2つ以上の連続する光フローを並列に推定する学習型光フロー推定手法を提案する。 我々の仮説は、2フレーム以上の長いシーケンスからの時間的シーンのダイナミクスを理解することで、より大きな時空間領域におけるピクセルの依存性を特徴づけ、複雑な動きパターンを一般化し、閉鎖領域における光学的フロー推定の精度を向上させることができるというものである。 本稿では,sstms(multi-frame based optical flow estimation)のための学習型時空間リカレントトランスを提案する。 本手法は3次元畳み込みGated Recurrent Units(3D-ConvGRUs)と時空間変圧器を用いて,シーン内の時空間運動力学と大域的依存性を学習し,一般化された光フロー推定を提供する。 実世界および合成データセットにおける最近の最先端の2フレーム法と多フレーム法と比較すると, SSTMの性能は有界領域と外界領域で有意に高かった。 公開されたすべての最先端のマルチフレームメソッドの中で、SSTMはSintel FinalとKITTI2015ベンチマークデータセットで最先端の結果を得た。

関連論文リスト

• Robust Optical Flow Computation: A Higher-Order Differential Approach [0.0]
  本研究は,2次テイラー級数近似の高精度化を利用して,光フロー計算のための革新的なアルゴリズムを提案する。 KITTIやMiddleburyのような光学フローベンチマークのパフォーマンスによって、アルゴリズムの機能を示す印象的な例が現れる。
  論文  参考訳（メタデータ） (2024-10-12T15:20:11Z)
• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• STint: Self-supervised Temporal Interpolation for Geospatial Data [0.0]
  監督・監督されていない技術は、ビデオデータの時間的可能性を実証している。 最も一般的な時間的手法は、ビデオフレーム間のピクセルの動きを符号化する光の流れにヒンジする。 本研究では,地上の真実データに頼らず,光学的流れのような動き情報を必要としない,教師なしの時間的手法を提案する。
  論文  参考訳（メタデータ） (2023-08-31T18:04:50Z)
• Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
  DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。 既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。 本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-16T17:53:18Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• PCA Event-Based Otical Flow for Visual Odometry [0.0]
  本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。 提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-05-08T18:30:44Z)
• STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame Optical Flow Estimation [64.99259320624148]
  マルチフレーム光フロー推定のための軽量CNNアルゴリズムを提案する。 結果のSTaRFlowアルゴリズムは、MPI SintelとKitti2015で最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2020-07-10T17:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。