論文の概要: A Flexible Recursive Network for Video Stereo Matching Based on Residual Estimation

• arxiv url: http://arxiv.org/abs/2406.03333v1
• Date: Wed, 5 Jun 2024 14:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 17:51:23.786645
• Title: A Flexible Recursive Network for Video Stereo Matching Based on Residual Estimation
• Title（参考訳）: 残差推定に基づくビデオステレオマッチングのためのフレキシブル再帰ネットワーク
• Authors: Youchen Zhao, Guorong Luo, Hua Zhong, Haixiong Li,
• Abstract要約: RecSMはビデオステレオマッチングの残差推定に基づくネットワークである。 スタック数は3で、RecSMはACVNetと比較して4倍のスピード向上を実現し、1つのNVIDIA 2080TI GPUに基づいて0.054秒で実行される。
• 参考スコア（独自算出の注目度）: 0.9362376508480733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the high similarity of disparity between consecutive frames in video sequences, the area where disparity changes is defined as the residual map, which can be calculated. Based on this, we propose RecSM, a network based on residual estimation with a flexible recursive structure for video stereo matching. The RecSM network accelerates stereo matching using a Multi-scale Residual Estimation Module (MREM), which employs the temporal context as a reference and rapidly calculates the disparity for the current frame by computing only the residual values between the current and previous frames. To further reduce the error of estimated disparities, we use the Disparity Optimization Module (DOM) and Temporal Attention Module (TAM) to enforce constraints between each module, and together with MREM, form a flexible Stackable Computation Structure (SCS), which allows for the design of different numbers of SCS based on practical scenarios. Experimental results demonstrate that with a stack count of 3, RecSM achieves a 4x speed improvement compared to ACVNet, running at 0.054 seconds based on one NVIDIA RTX 2080TI GPU, with an accuracy decrease of only 0.7%. Code is available at https://github.com/Y0uchenZ/RecSM.
• Abstract（参考訳）: ビデオシーケンスにおける連続フレーム間の相違の相似性が高いため、相違が変化する領域を残差マップとして定義し、計算することができる。 これに基づいて,ビデオステレオマッチングのためのフレキシブルな再帰構造を持つ残差推定に基づくネットワークRecSMを提案する。 RecSMネットワークは、時間的文脈を基準として、MREM(Multi-scale Residual Estimation Module)を用いてステレオマッチングを高速化し、現在のフレームと前のフレームの間の残値のみを計算することにより、現在のフレームの差を高速に計算する。 さらに,各モジュール間の制約を強制するために,分散最適化モジュール (DOM) とテンポラルアテンションモジュール (TAM) を用い,MREM とともにフレキシブルなスタック可能計算構造 (SCS) を構築した。 実験の結果、スタック数3では、RecSMはACVNetと比較して4倍の速度向上を実現し、1つのNVIDIA RTX 2080TI GPUに基づいて0.054秒で動作し、精度はわずか0.7%低下した。 コードはhttps://github.com/Y0uchenZ/RecSMで入手できる。

関連論文リスト

• Spatial-Temporal Transformer based Video Compression Framework [44.723459144708286]
  本稿では,STT-VC(Spatial-Temporal Transformer based Video Compression)フレームワークを提案する。 動作推定と補償のためのオフセット推定のためのUformerベースのオフセット推定を備えたRelaxed Deformable Transformer (RDT)と、予測改善のためのマルチ参照フレームに基づくMulti-Granularity Prediction (MGP)モジュールと、時間空間的継手残留圧縮を効率的に行うSpatial Feature Distribution prior based Transformer (SFD-T)を含む。 実験の結果,VTMよりも13.5%のBD-Rateを節約できることがわかった。
  論文  参考訳（メタデータ） (2023-09-21T09:23:13Z)
• Dynamic Frame Interpolation in Wavelet Domain [57.25341639095404]
  ビデオフレームは、より流動的な視覚体験のためにフレームレートを上げることができる、重要な低レベルな計算ビジョンタスクである。 既存の手法は、高度なモーションモデルと合成ネットワークを利用することで大きな成功を収めた。 WaveletVFIは、同様の精度を維持しながら最大40%の計算を削減できるため、他の最先端技術に対してより効率的に処理できる。
  論文  参考訳（メタデータ） (2023-09-07T06:41:15Z)
• ResQ: Residual Quantization for Video Perception [18.491197847596283]
  本稿では,Residual Quantization(Residual Quantization)と呼ばれるビデオネットワークのための新しい量子化手法を提案する。 ビデオの変化量に比例してビット幅を動的に調整するために、我々のモデルを拡張します。
  論文  参考訳（メタデータ） (2023-08-18T12:41:10Z)
• Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation [49.17930380106643]
  本稿では,リアルタイム視覚タスクのスキップ接続によるアーキテクチャの高速化を目的とした新しいフレームワークを提案する。 具体的には、各フレームの到着時に、前のフレームから特徴を変換し、特定の空間的ビンで再利用する。 次に、現在のフレームの領域におけるバックボーンネットワークの部分計算を行い、現在のフレームと前のフレームの時間差をキャプチャする。
  論文  参考訳（メタデータ） (2022-06-20T07:20:02Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Temporal Modulation Network for Controllable Space-Time Video Super-Resolution [66.06549492893947]
  宇宙時間のビデオ超解像度は、低解像度と低フレームレートのビデオの空間的および時間的解像度を高めることを目指しています。 変形性畳み込み法は、有望なSTVSR性能を達成したが、トレーニング段階で事前に定義された中間フレームのみを推測することができた。 本稿では,任意の中間フレームを高精度な高分解能再構成で補間する時間変調ネットワーク(tmnet)を提案する。
  論文  参考訳（メタデータ） (2021-04-21T17:10:53Z)
• Boosting Continuous Sign Language Recognition via Cross Modality Augmentation [135.30357113518127]
  連続手話認識は不整合のビデオテキストペアを扱う。 クロスモーダル拡張を用いた新しいアーキテクチャを提案する。 提案するフレームワークは、既存のCTCベースの連続SLRアーキテクチャに容易に拡張できる。
  論文  参考訳（メタデータ） (2020-10-11T15:07:50Z)
• Learning for Video Compression with Recurrent Auto-Encoder and Recurrent Probability Model [164.7489982837475]
  本稿では、リカレントオートエンコーダ(RAE)とリカレント確率モデル(RPM)を用いたリカレントラーニングビデオ圧縮(RLVC)手法を提案する。 RAEは、ビデオフレーム間の時間的相関を利用するために、エンコーダとデコーダの両方で繰り返しセルを使用する。 提案手法は,PSNRとMS-SSIMの両方の観点から,最先端の学習ビデオ圧縮性能を実現する。
  論文  参考訳（メタデータ） (2020-06-24T08:46:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。