論文の概要: Deep Slow Motion Video Reconstruction with Hybrid Imaging System
- arxiv url: http://arxiv.org/abs/2002.12106v2
- Date: Tue, 21 Apr 2020 11:05:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 09:16:14.178740
- Title: Deep Slow Motion Video Reconstruction with Hybrid Imaging System
- Title（参考訳）: ハイブリッドイメージングシステムを用いた深部スローモーション映像再構成
- Authors: Avinash Paliwal and Nima Khademi Kalantari
- Abstract要約: 現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。
本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。
我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
- 参考スコア（独自算出の注目度）: 12.340049542098148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Slow motion videos are becoming increasingly popular, but capturing
high-resolution videos at extremely high frame rates requires professional
high-speed cameras. To mitigate this problem, current techniques increase the
frame rate of standard videos through frame interpolation by assuming linear
object motion which is not valid in challenging cases. In this paper, we
address this problem using two video streams as input; an auxiliary video with
high frame rate and low spatial resolution, providing temporal information, in
addition to the standard main video with low frame rate and high spatial
resolution. We propose a two-stage deep learning system consisting of alignment
and appearance estimation that reconstructs high resolution slow motion video
from the hybrid video input. For alignment, we propose to compute flows between
the missing frame and two existing frames of the main video by utilizing the
content of the auxiliary video frames. For appearance estimation, we propose to
combine the warped and auxiliary frames using a context and occlusion aware
network. We train our model on synthetically generated hybrid videos and show
high-quality results on a variety of test scenes. To demonstrate practicality,
we show the performance of our system on two real dual camera setups with small
baseline.
- Abstract（参考訳）: スローモーションビデオはますます人気があるが、高解像度のビデオを非常に高いフレームレートで撮影するにはプロのハイスピードカメラが必要だ。
この問題を軽減するため、現在の手法では、難題では有効でない線形物体の動きを仮定することにより、フレーム補間により標準映像のフレームレートを向上している。
本稿では,高フレームレートと低空間解像度の補助映像と,高フレームレートと高空間解像度の標準主映像の時間情報を提供する2つのビデオストリームを入力として,この問題に対処する。
ハイブリッドビデオ入力から高分解能スローモーションビデオを再構成するアライメントと外観推定からなる2段階のディープラーニングシステムを提案する。
そこで本研究では,補助映像のコンテンツを利用して,本映像の欠落フレームと既存の2つのフレーム間の流れを計算することを提案する。
外観推定のために,コンテキストとオクルージョン認識ネットワークを用いてワープフレームと補助フレームを組み合わせることを提案する。
合成したハイブリッドビデオでモデルをトレーニングし、さまざまなテストシーンで高品質な結果を示す。
実用性を示すために,本システムの性能を,ベースラインが小さい2つの実デュアルカメラで示す。
関連論文リスト
- HSTR-Net: Reference Based Video Super-resolution with Dual Cameras [2.4749083496491675]
本稿では,参照ベーススーパーレゾリューション(RefSR)を用いたHSTRビデオ生成のためのデュアルカメラシステムを提案する。
1台のカメラは高解像度低フレームレート(HSLF)ビデオを撮影し、もう1台のカメラは同時に低解像度高フレームレート(LSHF)ビデオを撮影する。
HSLFおよびLSHFビデオフィードを融合し,HSTRビデオフレームを合成するために,新しいディープラーニングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-10-18T16:37:01Z) - Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation [93.18163456287164]
本稿では,動画に画像モデルを適用するための新しいテキスト誘導型動画翻訳フレームワークを提案する。
我々のフレームワークは,グローバルなスタイルと局所的なテクスチャの時間的一貫性を低コストで実現している。
論文 参考訳（メタデータ） (2023-06-13T17:52:23Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Memory-Augmented Non-Local Attention for Video Super-Resolution [61.55700315062226]
低解像度(LR)ビデオから高忠実度高解像度(HR)ビデオを生成するための新しいビデオ超解法を提案する。
従来の方法は、主に時間的隣のフレームを利用して、現在のフレームの超解像を支援する。
対照的に、フレームアライメントなしでビデオの超解像を可能にするクロスフレーム非局所アテンション機構を考案する。
論文 参考訳（メタデータ） (2021-08-25T05:12:14Z) - Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video
Super-Resolution [100.11355888909102]
時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。
入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2021-04-15T17:59:23Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and
Interpolation [38.52446103418748]
シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。
我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。
本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
論文 参考訳（メタデータ） (2020-08-31T21:11:53Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。