論文の概要: H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System
- arxiv url: http://arxiv.org/abs/2208.02436v1
- Date: Thu, 4 Aug 2022 04:06:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-05 12:34:03.373076
- Title: H2-Stereo: High-Speed, High-Resolution Stereoscopic Video System
- Title（参考訳）: H2ステレオ:高速・高分解能ステレオビデオシステム
- Authors: Ming Cheng, Yiling Xu, Wang Shen, M. Salman Asif, Chao Ma, Jun Sun,
Zhan Ma
- Abstract要約: 高分解能立体視(H2-Stereo)ビデオは、動的3Dコンテンツを微妙に知覚することができる。
既存の手法は、時間的または空間的な詳細を欠いた妥協された解決策を提供する。
本稿では,高解像度低フレームレート(HSR-LFR)映像を空間的詳細で撮影するデュアルカメラシステムを提案する。
そこで我々は,H2-Stereo ビデオの効率的な再構成にクロスカメラ冗長性を利用する学習情報融合ネットワーク (LIFnet) を考案した。
- 参考スコア（独自算出の注目度）: 39.95458608416292
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: High-speed, high-resolution stereoscopic (H2-Stereo) video allows us to
perceive dynamic 3D content at fine granularity. The acquisition of H2-Stereo
video, however, remains challenging with commodity cameras. Existing spatial
super-resolution or temporal frame interpolation methods provide compromised
solutions that lack temporal or spatial details, respectively. To alleviate
this problem, we propose a dual camera system, in which one camera captures
high-spatial-resolution low-frame-rate (HSR-LFR) videos with rich spatial
details, and the other captures low-spatial-resolution high-frame-rate
(LSR-HFR) videos with smooth temporal details. We then devise a Learned
Information Fusion network (LIFnet) that exploits the cross-camera redundancies
to enhance both camera views to high spatiotemporal resolution (HSTR) for
reconstructing the H2-Stereo video effectively. We utilize a disparity network
to transfer spatiotemporal information across views even in large disparity
scenes, based on which, we propose disparity-guided flow-based warping for
LSR-HFR view and complementary warping for HSR-LFR view. A multi-scale fusion
method in feature domain is proposed to minimize occlusion-induced warping
ghosts and holes in HSR-LFR view. The LIFnet is trained in an end-to-end manner
using our collected high-quality Stereo Video dataset from YouTube. Extensive
experiments demonstrate that our model outperforms existing state-of-the-art
methods for both views on synthetic data and camera-captured real data with
large disparity. Ablation studies explore various aspects, including
spatiotemporal resolution, camera baseline, camera desynchronization,
long/short exposures and applications, of our system to fully understand its
capability for potential applications.
- Abstract（参考訳）: 高速・高分解能立体映像(h2-stereo)は,動的3dコンテンツを細粒度で認識できる。
しかしH2-Stereoビデオの買収は、コモディティカメラではまだ難しい。
既存の空間超解法や時間的フレーム補間法は、それぞれ時間的あるいは空間的詳細を欠いた妥協された解を提供する。
この問題を軽減するために,高解像度低フレームレート (HSR-LFR) 映像を高精細度で撮影し,高解像度高フレームレート (LSR-HFR) 映像をスムーズな時間的詳細で撮影するデュアルカメラシステムを提案する。
そこで我々は,H2-Stereoビデオの効率的な再構成のために,カメラビューを高時空間分解能(HSTR)に拡張するために,クロスカメラ冗長性を利用した学習情報融合ネットワーク(LIFnet)を考案した。
そこで本稿では,LSR-HFRビューのための分散誘導フローベースワープと,HSR-LFRビューのための補完ワープを提案する。
HSR-LFRビューにおけるオクルージョン誘導ゴーストとホールの最小化のために,特徴領域におけるマルチスケール融合法を提案する。
LIFnetは、YouTubeから収集した高品質のStereo Videoデータセットを使用して、エンドツーエンドでトレーニングされています。
広範な実験により,本モデルは,合成データとカメラで取得した実データの両方において,既存の最先端の手法を高い差で上回ることを示した。
アブレーション研究は, 時空間分解能, カメラベースライン, カメラデ同期化, 長短露光, 応用など, 様々な側面を探索し, その可能性を十分に理解している。
関連論文リスト
- Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution [151.1255837803585]
ビデオ超解像のための空間適応と時間コヒーレンス(SATeCo)を追求する新しい手法を提案する。
SATeCoは低解像度ビデオから時空間ガイダンスを学習し、潜時空間高解像度ビデオデノイングとピクセル空間ビデオ再構成の両方を校正する。
REDS4データセットとVid4データセットを用いて行った実験は、我々のアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-03-25T17:59:26Z) - HSTR-Net: Reference Based Video Super-resolution with Dual Cameras [2.4749083496491675]
本稿では,参照ベーススーパーレゾリューション(RefSR)を用いたHSTRビデオ生成のためのデュアルカメラシステムを提案する。
1台のカメラは高解像度低フレームレート(HSLF)ビデオを撮影し、もう1台のカメラは同時に低解像度高フレームレート(LSHF)ビデオを撮影する。
HSLFおよびLSHFビデオフィードを融合し,HSTRビデオフレームを合成するために,新しいディープラーニングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-10-18T16:37:01Z) - Rolling Shutter Inversion: Bring Rolling Shutter Images to High
Framerate Global Shutter Video [111.08121952640766]
本稿では,RS時相超解問題に対する新しいディープラーニングに基づく解法を提案する。
RSイメージングプロセスの多視点幾何関係を利用して,高フレームレートGS生成を実現する。
提案手法は,高精細で高品質なGS画像系列を生成でき,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2022-10-06T16:47:12Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video
Super-Resolution [100.11355888909102]
時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。
入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-15T17:59:23Z) - Deep Slow Motion Video Reconstruction with Hybrid Imaging System [12.340049542098148]
現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。
本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。
我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
論文 参考訳（メタデータ） (2020-02-27T14:18:12Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。