論文の概要: A New Dataset and Transformer for Stereoscopic Video Super-Resolution
- arxiv url: http://arxiv.org/abs/2204.10039v1
- Date: Thu, 21 Apr 2022 11:49:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-22 13:51:08.685109
- Title: A New Dataset and Transformer for Stereoscopic Video Super-Resolution
- Title(参考訳): ステレオビデオ超解像のための新しいデータセットと変換器
- Authors: Hassan Imani, Md Baharul Islam, Lai-Kuan Wong
- Abstract要約: ステレオビデオ超解像は高解像度映像を再構成することで低解像度の分解能を高めることを目的としている。
SVSRの主な課題は、立体的一貫性と時間的一貫性を維持することである。
本稿では,SVSR のトランスフォーマーモデル,すなわち Trans-SVSR を提案する。
- 参考スコア(独自算出の注目度): 4.332879001008757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stereo video super-resolution (SVSR) aims to enhance the spatial resolution
of the low-resolution video by reconstructing the high-resolution video. The
key challenges in SVSR are preserving the stereo-consistency and
temporal-consistency, without which viewers may experience 3D fatigue. There
are several notable works on stereoscopic image super-resolution, but there is
little research on stereo video super-resolution. In this paper, we propose a
novel Transformer-based model for SVSR, namely Trans-SVSR. Trans-SVSR comprises
two key novel components: a spatio-temporal convolutional self-attention layer
and an optical flow-based feed-forward layer that discovers the correlation
across different video frames and aligns the features. The parallax attention
mechanism (PAM) that uses the cross-view information to consider the
significant disparities is used to fuse the stereo views. Due to the lack of a
benchmark dataset suitable for the SVSR task, we collected a new stereoscopic
video dataset, SVSR-Set, containing 71 full high-definition (HD) stereo videos
captured using a professional stereo camera. Extensive experiments on the
collected dataset, along with two other datasets, demonstrate that the
Trans-SVSR can achieve competitive performance compared to the state-of-the-art
methods. Project code and additional results are available at
https://github.com/H-deep/Trans-SVSR/
- Abstract(参考訳): ステレオビデオ超解像(SVSR)は,高解像度映像を再構成することで低解像度映像の空間分解能を高めることを目的としている。
SVSRの鍵となる課題は、立体的一貫性と時間的一貫性を維持することである。
立体像超解像の研究はいくつかあるが、ステレオビデオ超解像の研究はほとんどない。
本稿では,SVSR のトランスフォーマーモデル,すなわち Trans-SVSR を提案する。
Trans-SVSRは、時空間の畳み込み自己保持層と、異なるビデオフレーム間の相関を発見し、特徴を整列する光フローベースのフィードフォワード層である。
立体視を融合させるために、横断視情報を用いて重要な相違を考慮するパララックスアテンション機構(PAM)を用いる。
SVSRタスクに適したベンチマークデータセットがないため、プロのステレオカメラで撮影した71個のフルHDステレオビデオを含む新しいステレオビデオデータセットSVSR-Setを収集した。
収集されたデータセットに関する広範な実験と、他の2つのデータセットは、trans-svsrが最先端の方法に比べて競争力のある性能を達成できることを示しています。
プロジェクトコードと追加結果はhttps://github.com/h-deep/trans-svsr/で入手できる。
関連論文リスト
- SD-MVS: Segmentation-Driven Deformation Multi-View Stereo with Spherical
Refinement and EM optimization [6.886220026399106]
テクスチャレス領域の3次元再構成における課題を解決するために,多視点ステレオ (SD-MVS) を導入する。
私たちは、シーン内のセグメンテーションインスタンスを区別するためにSAM(Segment Anything Model)を採用した最初の人です。
球面座標と正規点の勾配勾配と深度の画素方向探索間隔を組み合わせた独自の精細化戦略を提案する。
論文 参考訳(メタデータ) (2024-01-12T05:25:57Z) - Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。
我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。
提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-07-17T04:02:00Z) - DynamicStereo: Consistent Dynamic Depth from Stereo Videos [91.1804971397608]
ステレオビデオの相違を推定するためにDynamicStereoを提案する。
ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。
スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
論文 参考訳(メタデータ) (2023-05-03T17:40:49Z) - Cross-View Hierarchy Network for Stereo Image Super-Resolution [14.574538513341277]
ステレオ画像スーパーレゾリューションは、ビュー間の相補的な情報を活用することにより、高解像度ステレオ画像ペアの品質を向上させることを目的としている。
ステレオ画像超解法(CVHSSR)のためのクロスビュー階層ネットワーク(Cross-View-Hierarchy Network)という新しい手法を提案する。
CVHSSRは、パラメータを減らしながら、他の最先端手法よりも最高のステレオ画像超解像性能を達成する。
論文 参考訳(メタデータ) (2023-04-13T03:11:30Z) - Reference-based Image and Video Super-Resolution via C2-Matching [100.0808130445653]
本稿では,C2-Matchingを提案する。
C2-Matchingは、標準的なCUFED5ベンチマークにおいて、最先端のアーツを著しく上回っている。
また、類似シーンで撮影された画像がHR参照画像として機能するため、C2-Matchingを参照ベースでビデオスーパーリゾリューションタスクに拡張する。
論文 参考訳(メタデータ) (2022-12-19T16:15:02Z) - H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System [39.95458608416292]
高分解能立体視(H2-Stereo)ビデオは、動的3Dコンテンツを微妙に知覚することができる。
既存の手法は、時間的または空間的な詳細を欠いた妥協された解決策を提供する。
本稿では,高解像度低フレームレート(HSR-LFR)映像を空間的詳細で撮影するデュアルカメラシステムを提案する。
そこで我々は,H2-Stereo ビデオの効率的な再構成にクロスカメラ冗長性を利用する学習情報融合ネットワーク (LIFnet) を考案した。
論文 参考訳(メタデータ) (2022-08-04T04:06:01Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-21T21:34:05Z) - TransVOD: End-to-end Video Object Detection with Spatial-Temporal
Transformers [96.981282736404]
時空間トランスフォーマアーキテクチャに基づく最初のエンドツーエンドビデオオブジェクト検出システムであるTransVODを提案する。
提案した TransVOD++ は,90.0% mAP の ImageNet VID の精度で,最先端のレコードを新たに設定する。
提案したTransVOD Liteは,約30FPSで動作する場合に,83.7%のmAPで最高の速度と精度のトレードオフを実現する。
論文 参考訳(メタデータ) (2022-01-13T16:17:34Z) - Multi-View Stereo with Transformer [31.83069394719813]
本稿では,MVSTR(Multi-View Stereo)のためのネットワークを提案する。
Transformer上に構築されており、グローバルコンテキストと3D一貫性で高密度な特徴を抽出することができる。
実験結果から,提案したMVSTRは,DTUデータセット上で最高の総合性能を達成し,Turps & Templesベンチマークデータセット上での強力な一般化を実現していることがわかった。
論文 参考訳(メタデータ) (2021-12-01T08:06:59Z) - Video Super-Resolution Transformer [85.11270760456826]
ビデオ超解像(VSR)は、高解像度映像を対応する低解像度バージョンから復元することを目的としており、時空間シーケンス予測問題である。
近年,シークエンス・ツー・シーケンス・モデリングの並列計算能力により,Transformerが人気を集めている。
本稿では,空間的・時間的畳み込み型自己認識層を理論的に理解し,局所性情報を活用する。
論文 参考訳(メタデータ) (2021-06-12T20:00:32Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。