論文の概要: Lightweight High-Speed Photography Built on Coded Exposure and Implicit Neural Representation of Videos
- arxiv url: http://arxiv.org/abs/2311.13134v2
- Date: Wed, 28 Aug 2024 06:15:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 21:19:05.245086
- Title: Lightweight High-Speed Photography Built on Coded Exposure and Implicit Neural Representation of Videos
- Title（参考訳）: 符号化露光と暗示的ニューラル表現を用いた軽量高速撮影
- Authors: Zhihong Zhang, Runzhao Yang, Jinli Suo, Yuxiao Cheng, Qionghai Dai,
- Abstract要約: 高速シーンを高解像度で記録できるコンパクトカメラの需要は着実に増加している。
しかし、そのような能力を達成するには、しばしば高帯域幅の要求が伴うため、低容量のプラットフォームには不適当で重いシステムになる。
本稿では,ビデオの暗黙的表現と古典的符号化露光画像技術を組み合わせることで,これらの課題に対処する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 34.152901518593396
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The demand for compact cameras capable of recording high-speed scenes with high resolution is steadily increasing. However, achieving such capabilities often entails high bandwidth requirements, resulting in bulky, heavy systems unsuitable for low-capacity platforms. To address this challenge, leveraging a coded exposure setup to encode a frame sequence into a blurry snapshot and subsequently retrieve the latent sharp video presents a lightweight solution. Nevertheless, restoring motion from blur remains a formidable challenge due to the inherent ill-posedness of motion blur decomposition, the intrinsic ambiguity in motion direction, and the diverse motions present in natural videos. In this study, we propose a novel approach to address these challenges by combining the classical coded exposure imaging technique with the emerging implicit neural representation for videos. We strategically embed motion direction cues into the blurry image during the imaging process. Additionally, we develop a novel implicit neural representation based blur decomposition network to sequentially extract the latent video frames from the blurry image, leveraging the embedded motion direction cues. To validate the effectiveness and efficiency of our proposed framework, we conduct extensive experiments using benchmark datasets and real-captured blurry images. The results demonstrate that our approach significantly outperforms existing methods in terms of both quality and flexibility. The code for our work is available at .https://github.com/zhihongz/BDINR
- Abstract（参考訳）: 高速シーンを高解像度で記録できるコンパクトカメラの需要は着実に増加している。
しかし、そのような能力を達成するには、しばしば高帯域幅の要求が伴うため、低容量のプラットフォームには不適当で重いシステムになる。
この課題に対処するため、符号化された露出設定を利用して、フレームシーケンスをぼやけたスナップショットにエンコードし、その後、潜入したシャープなビデオから軽量なソリューションを検索する。
それにもかかわらず、ブラーからの回復運動は、モーションブラー分解の固有の不適切さ、運動方向の内在的曖昧さ、そして自然ビデオに現れる多様な動きによって、依然として大きな課題である。
本研究では,従来の符号化露光画像技術とビデオの暗黙的ニューラル表現を併用することで,これらの課題に対処する新しい手法を提案する。
画像中のぼやけた画像に移動方向の手がかりを戦略的に埋め込む。
さらに,隠れた動画フレームをぼやけた画像から逐次抽出する,暗黙的ニューラル表現に基づくぼやけ分解ネットワークを開発した。
提案手法の有効性と有効性を検証するため,ベンチマークデータセットと実撮画像を用いた広範囲な実験を行った。
その結果、我々の手法は、品質と柔軟性の両方の観点から、既存の手法よりも大幅に優れています。
私たちの仕事のコードは .NET で利用可能です。
https://github.com/zhihongz/BDINR
関連論文リスト
- Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳（メタデータ） (2023-11-30T18:59:23Z) - Pix2HDR -- A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos [2.275097126764287]
カメラのフレームレートがダイナミックレンジを制限するため、高速ハイダイナミックレンジ()ビデオは難しい。
既存の手法は、マルチ露光フレームを取得するために速度を犠牲にするが、これらのフレーム内の不一致な動きは、HDR融合アルゴリズムに作用する。
本手法は動的条件下での視覚系の適応性と性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-10-24T19:27:35Z) - Neural Image Re-Exposure [86.42475408644822]
不適切なシャッターは、ぼやけた画像、ビデオの不連続、あるいはローリングシャッターアーティファクトにつながる可能性がある。
ニューラルネットワークに基づく画像再露法フレームワークを提案する。
視覚的潜在空間構築のためのエンコーダ、所望のシャッター戦略でニューラルフィルムに情報を集約する再露光モジュール、およびニューラルフィルムを所望の画像に「展開」するためのデコーダから構成される。
論文 参考訳（メタデータ） (2023-05-23T01:55:37Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Towards Interpretable Video Super-Resolution via Alternating
Optimization [115.85296325037565]
低フレームのぼかしビデオから高フレームの高解像度のシャープビデオを生成することを目的とした実時間ビデオ超解法(STVSR)問題について検討する。
本稿では,モデルベースと学習ベースの両方の手法を用いて,解釈可能なSTVSRフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T21:34:05Z) - Video Reconstruction from a Single Motion Blurred Image using Learned
Dynamic Phase Coding [34.76550131783525]
単一動きブル画像を用いた映像再構成のためのハイブリッド光デジタル手法を提案する。
我々は、画像取得中にレンズ開口部の動的位相符号化を学習し、運動軌跡を符号化する。
提案した計算カメラは、単一の符号化されたモーションブルー画像から、様々なフレームレートでシーンのシャープなフレームバーストを生成する。
論文 参考訳（メタデータ） (2021-12-28T02:06:44Z) - Restoration of Video Frames from a Single Blurred Image with Motion
Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。
一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。
提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文 参考訳（メタデータ） (2021-04-19T08:32:57Z) - Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。
予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:18:25Z) - Exposure Trajectory Recovery from Motion Blur [90.75092808213371]
ダイナミックシーンにおける動きのぼやけは重要な研究テーマである。
本稿では、ぼやけた画像に含まれる動き情報を表す露光軌跡を定義する。
静止シャープ画像の画素方向の変位をモデル化するための新しい動きオフセット推定フレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-06T05:23:33Z) - Prior-enlightened and Motion-robust Video Deblurring [29.158836861982742]
PriOr-enlightened and MOTION-robust deblurring model (PROMOTION) は難解なぼかしに適したモデルである。
我々は、異種先行情報を効率的に符号化するために、3Dグループ畳み込みを用いる。
また、一様でないぼやけた時間領域をよりよく扱うために、ぼやけた分布を表す事前設計を行う。
論文 参考訳（メタデータ） (2020-03-25T04:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。