論文の概要: Video Reconstruction by Spatio-Temporal Fusion of Blurred-Coded Image
Pair
- arxiv url: http://arxiv.org/abs/2010.10052v2
- Date: Fri, 13 Nov 2020 10:06:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 07:40:04.812325
- Title: Video Reconstruction by Spatio-Temporal Fusion of Blurred-Coded Image
Pair
- Title(参考訳): ブラインド符号画像ペアの時空間融合によるビデオ再構成
- Authors: S Anupama, Prasan Shedligeri, Abhishek Pal, Kaushik Mitra
- Abstract要約: 1つのモーションブルーの画像からビデオを取り出すのは、非常に不適切な問題だ。
従来のコード付き露光フレームワークはより適しているが、時空ボリュームのごく一部しかサンプリングできない。
完全露光画像に含まれる補完情報と符号化された露光画像を用いて高忠実度映像を復元する。
- 参考スコア(独自算出の注目度): 16.295479896947853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning-based methods have enabled the recovery of a video sequence from a
single motion-blurred image or a single coded exposure image. Recovering video
from a single motion-blurred image is a very ill-posed problem and the
recovered video usually has many artifacts. In addition to this, the direction
of motion is lost and it results in motion ambiguity. However, it has the
advantage of fully preserving the information in the static parts of the scene.
The traditional coded exposure framework is better-posed but it only samples a
fraction of the space-time volume, which is at best 50% of the space-time
volume. Here, we propose to use the complementary information present in the
fully-exposed (blurred) image along with the coded exposure image to recover a
high fidelity video without any motion ambiguity. Our framework consists of a
shared encoder followed by an attention module to selectively combine the
spatial information from the fully-exposed image with the temporal information
from the coded image, which is then super-resolved to recover a non-ambiguous
high-quality video. The input to our algorithm is a fully-exposed and coded
image pair. Such an acquisition system already exists in the form of a
Coded-two-bucket (C2B) camera. We demonstrate that our proposed deep learning
approach using blurred-coded image pair produces much better results than those
from just a blurred image or just a coded image.
- Abstract(参考訳): 学習に基づく手法により、1つのモーションブラリング画像または1つのコード化された露出画像からビデオシーケンスを復元することができる。
単一のモーションブルーの画像からビデオを取り出すのは非常に不適切な問題であり、回収されたビデオはたいてい多くのアーティファクトを持っている。
これに加えて、動きの方向が失われ、動きの曖昧さが生じる。
しかし、シーンの静的部分の情報を完全に保存する利点がある。
従来のコード化された露出フレームワークの方が良いが、時空ボリュームのほんの一部しかサンプリングせず、少なくとも時空ボリュームの50%を占める。
本稿では,完全露光画像に含まれる補完情報と符号化された露光画像を用いて,動きのあいまいさを伴わない高忠実度映像の再生を提案する。
我々のフレームワークは共有エンコーダとアテンションモジュールから構成されており、全露画像の空間情報と符号化画像の時間情報とを選択的に組み合わせ、超解像して非曖昧な高品質な映像を再生する。
アルゴリズムへの入力は、完全に公開され、コード化されたイメージペアです。
このような取得システムは、すでにCoded-two-bucket (C2B) カメラの形で存在している。
我々は,ぼやけた画像対を用いたディープラーニング手法が,単にぼやけた画像や単にコード化された画像よりもはるかに優れた結果をもたらすことを示した。
関連論文リスト
- Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳(メタデータ) (2024-02-20T01:43:51Z) - Lightweight High-Speed Photography Built on Coded Exposure and Implicit
Neural Representation of Videos [36.64080221546024]
フレームシーケンスをぼやけたスナップショットにエンコードするコード付き露出設定は、軽量なソリューションとして機能する。
しかし, ボケ分解の不正度が高いため, ボケからの復元動作は極めて困難である。
我々は,ぼやけた画像から潜伏映像シーケンスを逐次検索する,新しい自己再帰型ニューラルネットワークを開発した。
論文 参考訳(メタデータ) (2023-11-22T03:41:13Z) - Neural Image Re-Exposure [86.42475408644822]
不適切なシャッターは、ぼやけた画像、ビデオの不連続、あるいはローリングシャッターアーティファクトにつながる可能性がある。
ニューラルネットワークに基づく画像再露法フレームワークを提案する。
視覚的潜在空間構築のためのエンコーダ、所望のシャッター戦略でニューラルフィルムに情報を集約する再露光モジュール、およびニューラルフィルムを所望の画像に「展開」するためのデコーダから構成される。
論文 参考訳(メタデータ) (2023-05-23T01:55:37Z) - Divided Attention: Unsupervised Multi-Object Discovery with Contextually
Separated Slots [78.23772771485635]
本研究では,視覚領域を独立した移動領域に分割し,基礎的な真実や監督を伴わずに訓練する手法を提案する。
Slot Attentionに基づく逆条件エンコーダ・デコーダアーキテクチャで構成されている。
論文 参考訳(メタデータ) (2023-04-04T00:26:13Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳(メタデータ) (2023-03-27T09:43:42Z) - Unfolding a blurred image [36.519356428362286]
我々は、教師なしの方法でシャープビデオから動きの表現を学習する。
次に、ビデオ再構成の代用タスクを実行する畳み込みリカレントビデオオートエンコーダネットワークを訓練する。
ぼやけた画像のためのモーションエンコーダのガイドトレーニングに使用される。
このネットワークは、ぼやけた画像から埋め込み動作情報を抽出し、トレーニングされたリカレントビデオデコーダとともにシャープなビデオを生成する。
論文 参考訳(メタデータ) (2022-01-28T09:39:55Z) - Restoration of Video Frames from a Single Blurred Image with Motion
Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。
一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。
提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文 参考訳(メタデータ) (2021-04-19T08:32:57Z) - Affine-modeled video extraction from a single motion blurred image [3.0080996413230667]
動き鈍化画像は、露光時間上の複数のシャープフレームの時間平均です。
本研究では,アフィンモーションモデリングを用いた一般化ビデオ抽出手法について報告する。
公開データセットと実際のキャプチャデータの両方の実験は、報告されたテクニックの最先端のパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-08T13:59:14Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。