論文の概要: Lightweight High-Speed Photography Built on Coded Exposure and Implicit
Neural Representation of Videos
- arxiv url: http://arxiv.org/abs/2311.13134v1
- Date: Wed, 22 Nov 2023 03:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 16:21:06.764020
- Title: Lightweight High-Speed Photography Built on Coded Exposure and Implicit
Neural Representation of Videos
- Title（参考訳）: 映像の符号化露光と暗黙的神経表現に基づく軽量高速撮影
- Authors: Zhihong Zhang, Runzhao Yang, Jinli Suo, Yuxiao Cheng, Qionghai Dai
- Abstract要約: フレームシーケンスをぼやけたスナップショットにエンコードするコード付き露出設定は、軽量なソリューションとして機能する。
しかし, ボケ分解の不正度が高いため, ボケからの復元動作は極めて困難である。
我々は,ぼやけた画像から潜伏映像シーケンスを逐次検索する,新しい自己再帰型ニューラルネットワークを開発した。
- 参考スコア（独自算出の注目度）: 36.64080221546024
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The compact cameras recording high-speed scenes with high resolution are
highly demanded, but the required high bandwidth often leads to bulky, heavy
systems, which limits their applications on low-capacity platforms. Adopting a
coded exposure setup to encode a frame sequence into a blurry snapshot and
retrieve the latent sharp video afterward can serve as a lightweight solution.
However, restoring motion from blur is quite challenging due to the high
ill-posedness of motion blur decomposition, intrinsic ambiguity in motion
direction, and diverse motions in natural videos. In this work, by leveraging
classical coded exposure imaging technique and emerging implicit neural
representation for videos, we tactfully embed the motion direction cues into
the blurry image during the imaging process and develop a novel self-recursive
neural network to sequentially retrieve the latent video sequence from the
blurry image utilizing the embedded motion direction cues. To validate the
effectiveness and efficiency of the proposed framework, we conduct extensive
experiments on benchmark datasets and real-captured blurry images. The results
demonstrate that our proposed framework significantly outperforms existing
methods in quality and flexibility. The code for our work is available at
https://github.com/zhihongz/BDINR
- Abstract（参考訳）: 高速シーンを高解像度で撮影するコンパクトカメラは要求が高いが、要求される高帯域幅は、しばしば大容量で重いシステムにつながり、低容量のプラットフォームでの使用を制限する。
フレームシーケンスをぼやけたスナップショットにエンコードし、その後に潜むシャープなビデオを検索するためのコード化された露出設定を採用することは、軽量なソリューションとなる。
しかし, 動きの曖昧さ, 動き方向の内在的あいまいさ, 自然動画における多様な動きなどにより, ぼやけた動きの復元は極めて困難である。
本研究は,従来の符号化露光イメージング技術と映像の創発的な暗黙的ニューラル表現を活かし,撮像過程中に動き方向キューをぼやけた画像に巧みに埋め込み,その埋め込み動き方向キューを利用したぼやけた画像から潜在映像シーケンスを順次検索する新しい自己再帰型ニューラルネットワークを開発する。
提案手法の有効性と有効性を検証するため,ベンチマークデータセットと実画像のぼかし実験を行った。
その結果,提案フレームワークは既存の手法よりも品質と柔軟性に優れることがわかった。
私たちの仕事のコードはhttps://github.com/zhihongz/bdinrで入手できる。
関連論文リスト
- Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Pix2HDR -- A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos [2.275097126764287]
カメラのフレームレートがダイナミックレンジを制限するため、高速ハイダイナミックレンジ()ビデオは難しい。
既存の手法は、マルチ露光フレームを取得するために速度を犠牲にするが、これらのフレーム内の不一致な動きは、HDR融合アルゴリズムに作用する。
本手法は動的条件下での視覚系の適応性と性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-10-24T19:27:35Z) - Neural Image Re-Exposure [86.42475408644822]
不適切なシャッターは、ぼやけた画像、ビデオの不連続、あるいはローリングシャッターアーティファクトにつながる可能性がある。
ニューラルネットワークに基づく画像再露法フレームワークを提案する。
視覚的潜在空間構築のためのエンコーダ、所望のシャッター戦略でニューラルフィルムに情報を集約する再露光モジュール、およびニューラルフィルムを所望の画像に「展開」するためのデコーダから構成される。
論文 参考訳（メタデータ） (2023-05-23T01:55:37Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Video Reconstruction from a Single Motion Blurred Image using Learned
Dynamic Phase Coding [34.76550131783525]
単一動きブル画像を用いた映像再構成のためのハイブリッド光デジタル手法を提案する。
我々は、画像取得中にレンズ開口部の動的位相符号化を学習し、運動軌跡を符号化する。
提案した計算カメラは、単一の符号化されたモーションブルー画像から、様々なフレームレートでシーンのシャープなフレームバーストを生成する。
論文 参考訳（メタデータ） (2021-12-28T02:06:44Z) - Restoration of Video Frames from a Single Blurred Image with Motion
Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。
一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。
提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文 参考訳（メタデータ） (2021-04-19T08:32:57Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - Exposure Trajectory Recovery from Motion Blur [90.75092808213371]
ダイナミックシーンにおける動きのぼやけは重要な研究テーマである。
本稿では、ぼやけた画像に含まれる動き情報を表す露光軌跡を定義する。
静止シャープ画像の画素方向の変位をモデル化するための新しい動きオフセット推定フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-06T05:23:33Z) - Prior-enlightened and Motion-robust Video Deblurring [29.158836861982742]
PriOr-enlightened and MOTION-robust deblurring model (PROMOTION) は難解なぼかしに適したモデルである。
我々は、異種先行情報を効率的に符号化するために、3Dグループ畳み込みを用いる。
また、一様でないぼやけた時間領域をよりよく扱うために、ぼやけた分布を表す事前設計を行う。
論文 参考訳（メタデータ） (2020-03-25T04:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。