論文の概要: Enhanced Event-Based Video Reconstruction with Motion Compensation

• arxiv url: http://arxiv.org/abs/2403.11961v1
• Date: Mon, 18 Mar 2024 16:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 19:20:58.358676
• Title: Enhanced Event-Based Video Reconstruction with Motion Compensation
• Title（参考訳）: 運動補償によるイベントベースビデオ再構成の強化
• Authors: Siying Liu, Pier Luigi Dragotti,
• Abstract要約: 本稿では,入力強度フレームとスパース符号の歪みを補正し,再現性を向上させることを提案する。 CISTA-Flowネットワークは、動き補償のためのフローネットワークとCISTA-LSTCを統合することで構築される。 以上の結果から,本手法は最先端の復元精度を達成し,信頼性の高い高密度流れ推定を同時に提供することを示す。
• 参考スコア（独自算出の注目度）: 26.03328887451797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks for event-based video reconstruction often suffer from a lack of interpretability and have high memory demands. A lightweight network called CISTA-LSTC has recently been introduced showing that high-quality reconstruction can be achieved through the systematic design of its architecture. However, its modelling assumption that input signals and output reconstructed frame share the same sparse representation neglects the displacement caused by motion. To address this, we propose warping the input intensity frames and sparse codes to enhance reconstruction quality. A CISTA-Flow network is constructed by integrating a flow network with CISTA-LSTC for motion compensation. The system relies solely on events, in which predicted flow aids in reconstruction and then reconstructed frames are used to facilitate flow estimation. We also introduce an iterative training framework for this combined system. Results demonstrate that our approach achieves state-of-the-art reconstruction accuracy and simultaneously provides reliable dense flow estimation. Furthermore, our model exhibits flexibility in that it can integrate different flow networks, suggesting its potential for further performance enhancement.
• Abstract（参考訳）: イベントベースのビデオ再構成のためのディープニューラルネットワークは、解釈可能性の欠如と高いメモリ要求に悩まされることが多い。 CISTA-LSTCと呼ばれる軽量ネットワークが最近導入され、アーキテクチャの体系的設計により高品質な再構築が達成されている。 しかし、入力信号と出力再構成フレームが同じスパース表現を共有するというモデリング仮定は、動きによる変位を無視する。 そこで本研究では,入力強度フレームとスパース符号の歪みを補正し,再現性を向上させることを提案する。 CISTA-Flowネットワークは、動き補償のためのフローネットワークとCISTA-LSTCを統合することで構築される。 このシステムは、予測フローが再構築に役立ち、フロー推定を容易にするために再構築されたフレームを使用するイベントにのみ依存する。 この組み合わせシステムのための反復的なトレーニングフレームワークも導入する。 以上の結果から,本手法は最先端の復元精度を達成し,信頼性の高い高密度流れ推定を同時に提供することを示す。 さらに,本モデルでは,異なるフローネットワークを統合可能な柔軟性を示し,さらなる性能向上の可能性を示唆している。

関連論文リスト

• ReMatching Dynamic Reconstruction Flow [55.272357926111454]
  本稿では,動的再構成モデルに変形前処理を組み込むことにより,一般化品質の向上を目的としたReMatchingフレームワークを提案する。 このフレームワークは高度に適応可能であり、様々な動的表現に適用できる。 合成シーンと実世界のダイナミックシーンの両方を含む一般的なベンチマークの評価は、現在の最先端モデルの再構築精度を明らかに向上させたことを示す。
  論文  参考訳（メタデータ） (2024-11-01T16:09:33Z)
• Simultaneous Map and Object Reconstruction [66.66729715211642]
  本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。 我々は、最近の新しいビュー合成法から着想を得て、大域的な最適化として再構築問題を提起する。 連続動作の慎重なモデリングにより, 回転するLiDARセンサの回転シャッター効果を補うことができる。
  論文  参考訳（メタデータ） (2024-06-19T23:53:31Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Illumination and Reflection Decomposition [68.6707284662443]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的および静的なシーンの復元を目指している。 1つの重要な側面は、時間空間照明と外観強化バージョンに特化した一貫性の制約を定式化することである。 本稿では,レチネックスを基盤とした革新的なビデオ分解戦略について述べる。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)
• MsDC-DEQ-Net: Deep Equilibrium Model (DEQ) with Multi-scale Dilated Convolution for Image Compressive Sensing (CS) [0.0]
  圧縮センシング(CS)は、従来のサンプリング法よりも少ない測定値を用いてスパース信号の回復を可能にする技術である。 我々はCSを用いた自然画像再構成のための解釈可能かつ簡潔なニューラルネットワークモデルを構築した。 MsDC-DEQ-Netと呼ばれるこのモデルは、最先端のネットワークベースの手法と比較して、競争力のある性能を示す。
  論文  参考訳（メタデータ） (2024-01-05T16:25:58Z)
• A Lightweight Recurrent Learning Network for Sustainable Compressed Sensing [27.964167481909588]
  持続可能なCSシステムを実現するために,繰り返し学習に基づく軽量だが効果的な深層ニューラルネットワークを提案する。 提案手法は,既存のCSアルゴリズムよりも再現性が高い。
  論文  参考訳（メタデータ） (2023-04-23T14:54:15Z)
• Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
  我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。 SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
  論文  参考訳（メタデータ） (2022-06-15T17:36:04Z)
• Towards performant and reliable undersampled MR reconstruction via diffusion model sampling [67.73698021297022]
  DiffuseReconは拡散モデルに基づく新しいMR再構成法である。 観測された信号に基づいて生成過程を導出する。 特定の加速因子に関する追加の訓練は必要としない。
  論文  参考訳（メタデータ） (2022-03-08T02:25:38Z)
• Information Prebuilt Recurrent Reconstruction Network for Video Super-Resolution [8.587681982540225]
  一方向のリカレント畳み込みネットワークにおいて、異なるリカレントユニットから受信された入力情報がアンバランスされる。 初期の再構築フレームは時間的な情報が少なくなり、ファジィやアーティファクトの結果をもたらす。 本稿では,情報プリビルドネットワーク(IPNet)とリカレントリカレント・リカレント・リカレント・ネットワーク(RRNet)からなる,エンド・ツー・エンドのインフォメーション・リカレント・リカレント・リカレント・リカレント・リカレント・ネットワーク(IPRRN)を提案する。
  論文  参考訳（メタデータ） (2021-12-10T05:32:23Z)
• Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation [47.984368369734995]
  本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。 このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。 既存の最先端の手法を大きなマージンで上回る結果が得られた。
  論文  参考訳（メタデータ） (2021-09-10T13:37:37Z)
• A Hybrid Video Anomaly Detection Framework via Memory-Augmented Flow Reconstruction and Flow-Guided Frame Prediction [34.565986275769745]
  $textHF2$-VADは、フロー再構成とFrame予測を統合するハイブリッドフレームワークである。 ML-MemAE-SCのネットワークを設計し,光学的フロー再構成のための正規パターンを記憶する。 次に, 条件付き変分オートエンコーダを用いて, 前の数フレームから次のフレームを予測する。
  論文  参考訳（メタデータ） (2021-08-16T01:37:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。