論文の概要: Video frame interpolation for high dynamic range sequences captured with
dual-exposure sensors
- arxiv url: http://arxiv.org/abs/2206.09485v1
- Date: Sun, 19 Jun 2022 20:29:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-25 19:19:44.413366
- Title: Video frame interpolation for high dynamic range sequences captured with
dual-exposure sensors
- Title(参考訳): デュアル露光センサを用いた高ダイナミックレンジシーケンスの映像フレーム補間
- Authors: Ugur Cogalan, Mojtaba Bemana, Hans-Peter Seidel, Karol Myszkowski
- Abstract要約: ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。
重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
- 参考スコア(独自算出の注目度): 24.086089662881044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video frame interpolation (VFI) enables many important applications that
might involve the temporal domain, such as slow motion playback, or the spatial
domain, such as stop motion sequences. We are focusing on the former task,
where one of the key challenges is handling high dynamic range (HDR) scenes in
the presence of complex motion. To this end, we explore possible advantages of
dual-exposure sensors that readily provide sharp short and blurry long
exposures that are spatially registered and whose ends are temporally aligned.
This way, motion blur registers temporally continuous information on the scene
motion that, combined with the sharp reference, enables more precise motion
sampling within a single camera shot. We demonstrate that this facilitates a
more complex motion reconstruction in the VFI task, as well as HDR frame
reconstruction that so far has been considered only for the originally captured
frames, not in-between interpolated frames. We design a neural network trained
in these tasks that clearly outperforms existing solutions. We also propose a
metric for scene motion complexity that provides important insights into the
performance of VFI methods at the test time.
- Abstract(参考訳): ビデオフレーム補間(VFI)は、スローモーション再生のような時間領域やストップモーションシーケンスのような空間領域を含む多くの重要なアプリケーションを可能にする。
我々は,高ダイナミックレンジ(HDR)シーンを複雑な動作で処理する上で重要な課題の1つとして,前者の課題に焦点を当てている。
この目的のために,空間的に登録され,終端が時間的に整列する鋭く短くぼやけた長時間露光を容易に提供できるデュアル露光センサの利点を探究する。
これにより、動きのぼやけはシーンの動きの時間的連続情報を登録し、シャープな参照と組み合わせることで、1つのカメラショット内でより正確な動きサンプリングが可能になる。
本稿では,VFIタスクにおけるより複雑な動き再構成とHDRフレーム再構成が,これまでは補間フレームではなく,最初に捕捉されたフレームに対してのみ考慮されてきたことを実証する。
私たちはこれらのタスクで訓練されたニューラルネットワークを設計します。
また,テスト時間におけるVFI手法の性能に関する重要な洞察を提供する,シーン動作の複雑さの指標も提案する。
関連論文リスト
- Out of the Room: Generalizing Event-Based Dynamic Motion Segmentation
for Complex Scenes [10.936350433952668]
モーションセグメンテーション(Motion segmentation)とも呼ばれる動的シーン部品の迅速かつ信頼性の高い識別は、モバイルセンサーにとって重要な課題である。
イベントカメラはこれらの制限を克服する可能性があるが、それに対応する方法は小規模の屋内環境でのみ実証されている。
本研究は,複雑な大規模屋外環境にも展開可能な,クラスに依存しない動作セグメンテーションのイベントベース手法を提案する。
論文 参考訳(メタデータ) (2024-03-07T14:59:34Z) - Event-Based Motion Magnification [29.730210385814015]
従来の動きの倍率法は高価な高速カメラや能動光源に依存しており、適用範囲を制限している。
本稿では、イベントストリームからの時間密度情報とRGB画像からの空間密度データを含む、イベントカメラと従来のRGBカメラからなるデュアルカメラシステムを提案する。
両カメラシステムとネットワークの有効性と精度を,低振幅,高周波動作を拡大する広範囲な実験により実証した。
論文 参考訳(メタデータ) (2024-02-19T08:59:58Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳(メタデータ) (2021-06-14T10:33:47Z) - Zooming SlowMo: An Efficient One-Stage Framework for Space-Time Video
Super-Resolution [100.11355888909102]
時空ビデオ超解像度は低解像度(LR)と低フレームレート(LFR)ビデオシーケンスから高解像度(HR)スローモーションビデオを生成することを目的としている。
入力LRおよびLFRビデオから直接HRスローモーション映像シーケンスを再構成できる一段階の時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-15T17:59:23Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:18:25Z) - FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。
FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
論文 参考訳(メタデータ) (2020-12-15T18:59:30Z) - Zooming Slow-Mo: Fast and Accurate One-Stage Space-Time Video
Super-Resolution [95.26202278535543]
単純な解決策は、ビデオフレーム(VFI)とビデオ超解像(VSR)の2つのサブタスクに分割することである。
時間合成と空間超解像はこの課題に関係している。
LFR,LRビデオからHRスローモーション映像を直接合成するワンステージ時空間ビデオ超解像フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-26T16:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。