論文の概要: HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks
- arxiv url: http://arxiv.org/abs/2305.06382v2
- Date: Tue, 20 Feb 2024 12:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 21:29:01.058959
- Title: HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks
- Title(参考訳): HyperE2VID: Hypernetworksによるイベントベースのビデオ再構成の改善
- Authors: Burak Ercan, Onur Eker, Canberk Saglam, Aykut Erdem, Erkut Erdem
- Abstract要約: イベントベースビデオ再構成のための動的ニューラルネットワークアーキテクチャであるHyperE2VIDを提案する。
提案手法では,ハイパーネットワークを用いてコンテキスト融合モジュールによって誘導される画素ごとの適応フィルタを生成する。
- 参考スコア(独自算出の注目度): 16.432164340779266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based cameras are becoming increasingly popular for their ability to
capture high-speed motion with low latency and high dynamic range. However,
generating videos from events remains challenging due to the highly sparse and
varying nature of event data. To address this, in this study, we propose
HyperE2VID, a dynamic neural network architecture for event-based video
reconstruction. Our approach uses hypernetworks to generate per-pixel adaptive
filters guided by a context fusion module that combines information from event
voxel grids and previously reconstructed intensity images. We also employ a
curriculum learning strategy to train the network more robustly. Our
comprehensive experimental evaluations across various benchmark datasets reveal
that HyperE2VID not only surpasses current state-of-the-art methods in terms of
reconstruction quality but also achieves this with fewer parameters, reduced
computational requirements, and accelerated inference times.
- Abstract(参考訳): イベントベースのカメラは、低レイテンシと高ダイナミックレンジで高速な動きを捉えることで、ますます人気が高まっている。
しかし,イベントデータの性質が乏しいため,イベントからの動画生成は依然として困難である。
そこで本研究では,イベントベースビデオ再構成のための動的ニューラルネットワークアーキテクチャhypere2vidを提案する。
本手法はハイパーネットワークを用いて,イベントボクセルグリッドと予め再構成されたインテンシティ画像の情報を組み合わせたコンテキスト融合モジュールにより,ピクセル単位の適応フィルタを生成する。
ネットワークをより堅牢にトレーニングするためのカリキュラム学習戦略も採用しています。
各種ベンチマークデータセットの総合的な実験結果から,HyperE2VIDは再構築品質の面で現在の最先端手法を上回るだけでなく,パラメータの削減,計算要求の削減,推論時間の短縮などにより実現可能であることがわかった。
関連論文リスト
- E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳(メタデータ) (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-13T15:42:04Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - Spiking-Fer: Spiking Neural Network for Facial Expression Recognition
With Event Cameras [2.9398911304923447]
Spiking-FER」は深層畳み込みSNNモデルであり、類似したニューラルネットワーク(ANN)と比較する。
実験の結果,提案手法はANNアーキテクチャに匹敵する性能を達成し,最大65.39倍のエネルギーを消費することがわかった。
論文 参考訳(メタデータ) (2023-04-20T10:59:56Z) - NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view
Reconstruction [95.37644907940857]
我々はNeuS2と呼ばれる高速な神経表面再構成手法を提案する。
NeuS2は、再構成品質を損なうことなく、加速度の2桁の精度向上を実現している。
本研究では,動的シーンの高速トレーニングのための手法を拡張し,インクリメンタルトレーニング戦略と新たなグローバルトランスフォーメーション予測コンポーネントを提案する。
論文 参考訳(メタデータ) (2022-12-10T07:19:43Z) - Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
既存のビデオ再構成ネットワークの性能を20~40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
論文 参考訳(メタデータ) (2020-03-20T02:44:29Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳(メタデータ) (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。