論文の概要: Binarized Low-light Raw Video Enhancement

• arxiv url: http://arxiv.org/abs/2403.19944v1
• Date: Fri, 29 Mar 2024 02:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 16:34:41.936407
• Title: Binarized Low-light Raw Video Enhancement
• Title（参考訳）: バイナリ化低照度映像強調
• Authors: Gengchen Zhang, Yulun Zhang, Xin Yuan, Ying Fu,
• Abstract要約: ディープニューラルネットワークは、低照度生ビデオの強化において優れたパフォーマンスを実現している。 本稿では,低照度生ビデオエンハンスメントに超コンパクトなバイナリニューラルネットワーク(BNN)を適用する可能性について検討する。
• 参考スコア（独自算出の注目度）: 49.65466843856074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, deep neural networks have achieved excellent performance on low-light raw video enhancement. However, they often come with high computational complexity and large memory costs, which hinder their applications on resource-limited devices. In this paper, we explore the feasibility of applying the extremely compact binary neural network (BNN) to low-light raw video enhancement. Nevertheless, there are two main issues with binarizing video enhancement models. One is how to fuse the temporal information to improve low-light denoising without complex modules. The other is how to narrow the performance gap between binary convolutions with the full precision ones. To address the first issue, we introduce a spatial-temporal shift operation, which is easy-to-binarize and effective. The temporal shift efficiently aggregates the features of neighbor frames and the spatial shift handles the misalignment caused by the large motion in videos. For the second issue, we present a distribution-aware binary convolution, which captures the distribution characteristics of real-valued input and incorporates them into plain binary convolutions to alleviate the degradation in performance. Extensive quantitative and qualitative experiments have shown our high-efficiency binarized low-light raw video enhancement method can attain a promising performance.
• Abstract（参考訳）: 近年,低照度生ビデオの高精細化において,ディープニューラルネットワークは優れた性能を発揮している。 しかし、それらはしばしば高い計算複雑性と大きなメモリコストを伴い、リソース制限されたデバイスへの応用を妨げる。 本稿では,低照度生ビデオエンハンスメントに超コンパクトなバイナリニューラルネットワーク(BNN)を適用する可能性について検討する。 それにもかかわらず、ビデオエンハンスメントモデルのバイナライズには2つの大きな問題がある。 ひとつは、複雑なモジュールを使わずに、時間情報を融合して低照度化を改善する方法です。 もう1つは、完全な精度でバイナリの畳み込みのパフォーマンスギャップを狭める方法です。 最初の課題に対処するため,時空間シフト操作を導入する。 時間シフトは隣接するフレームの特徴を効率的に集約し、空間シフトはビデオの大きな動きによる不一致を処理する。 2つ目の問題として、実数値入力の分布特性をキャプチャし、それらを平易なバイナリ畳み込みに組み込んで性能劣化を緩和する分散対応バイナリ畳み込みを提案する。 広汎な定量および定性的実験により,高能率バイナライズされた低照度生ビデオ強調法は有望な性能が得られることが示された。

関連論文リスト

• SparseTem: Boosting the Efficiency of CNN-Based Video Encoders by Exploiting Temporal Continuity [15.872209884833977]
  本稿では,メモリオーバーヘッドを削減するためのメモリ効率スケジューリング手法と,精度の劣化を最小限に抑えるためのオンライン調整機構を提案する。 SparseTemは効率の良いDetでは1.79x、CRNNでは4.72xの高速化を実現している。
  論文  参考訳（メタデータ） (2024-10-28T07:13:25Z)
• BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
  本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。 我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。 実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
  論文  参考訳（メタデータ） (2024-07-03T22:41:49Z)
• Low-Latency Neural Stereo Streaming [6.49558286032794]
  低レイテンシ・ニューラル for Stereo Video Streaming (LLSS) は低遅延ステレオビデオストリーミング用に設計された新しいステレオビデオ符号化法である。 LLSSは、左と右のビューを並列に処理し、レイテンシを最小化します。
  論文  参考訳（メタデータ） (2024-03-26T17:11:51Z)
• Boosting Neural Representations for Videos with a Conditional Decoder [28.073607937396552]
  Inlicit Neural representations (INRs) は、ビデオストレージと処理において有望なアプローチとして登場した。 本稿では,現在の暗黙的ビデオ表現手法のための普遍的なブースティングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-28T08:32:19Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• FastLLVE: Real-Time Low-Light Video Enhancement with Intensity-Aware Lookup Table [21.77469059123589]
  我々は,フレーム間輝度の一貫性を効果的に維持するために,FastLLVEという名前の効率的なパイプラインを提案する。 FastLLVEは1080pのビデオを$mathit50+$ Frames Per Second (FPS)で処理できる。
  論文  参考訳（メタデータ） (2023-08-13T11:54:14Z)
• ReBotNet: Fast Real-time Video Enhancement [59.08038313427057]
  ほとんどの復元ネットワークは遅く、高い計算ボトルネックがあり、リアルタイムビデオ拡張には使用できない。 本研究では,ライブビデオ通話やビデオストリームなどの実用的なユースケースをリアルタイムに拡張するための,効率的かつ高速なフレームワークを設計する。 提案手法を評価するために,実世界のビデオ通話とストリーミングのシナリオを示す2つの新しいデータセットをエミュレートし,ReBotNetがより少ない計算,メモリ要求の低減,より高速な推論時間で既存手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-23T17:58:05Z)
• NSNet: Non-saliency Suppression Sampler for Efficient Video Recognition [89.84188594758588]
  非定常フレームの応答を抑制するために, NSNet(Non-Sliency Suppression Network)を提案する。 NSNetは最先端の精度効率トレードオフを実現し、最先端の手法よりもはるかに高速な2.44.3xの実用的な推論速度を示す。
  論文  参考訳（メタデータ） (2022-07-21T09:41:22Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。