論文の概要: HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks
- arxiv url: http://arxiv.org/abs/2305.06382v1
- Date: Wed, 10 May 2023 18:00:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-12 17:04:39.205839
- Title: HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks
- Title(参考訳): HyperE2VID: Hypernetworksによるイベントベースのビデオ再構成の改善
- Authors: Burak Ercan, Onur Eker, Canberk Saglam, Aykut Erdem, Erkut Erdem
- Abstract要約: イベントベースビデオ再構成のための動的ニューラルネットワークアーキテクチャであるHyperE2VIDを提案する。
提案手法では,ハイパーネットワークと動的畳み込みを用いて,コンテキスト融合モジュールによって誘導される画素ごとの適応フィルタを生成する。
実験結果から,HyperE2VIDは最新の手法よりも少ないパラメータと高速な推論時間で再現精度が向上することが示された。
- 参考スコア(独自算出の注目度): 15.504425842953678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event-based cameras are becoming increasingly popular for their ability to
capture high-speed motion with low latency and high dynamic range. However,
generating videos from events remains challenging due to the highly sparse and
varying nature of event data. To address this, in this study, we propose
HyperE2VID, a dynamic neural network architecture for event-based video
reconstruction. Our approach uses hypernetworks and dynamic convolutions to
generate per-pixel adaptive filters guided by a context fusion module that
combines information from event voxel grids and previously reconstructed
intensity images. We also employ a curriculum learning strategy to train the
network more robustly. Experimental results demonstrate that HyperE2VID
achieves better reconstruction quality with fewer parameters and faster
inference time than the state-of-the-art methods.
- Abstract(参考訳): イベントベースのカメラは、低レイテンシと高ダイナミックレンジで高速な動きを捉えることで、ますます人気が高まっている。
しかし,イベントデータの性質が乏しいため,イベントからの動画生成は依然として困難である。
そこで本研究では,イベントベースビデオ再構成のための動的ニューラルネットワークアーキテクチャhypere2vidを提案する。
提案手法はハイパーネットワークと動的畳み込みを用いて,イベントボクセルグリッドからの情報と以前再構成されたインテンシティ画像を組み合わせたコンテキスト融合モジュールによって導かれる画素ごとの適応フィルタを生成する。
ネットワークをより堅牢にトレーニングするためのカリキュラム学習戦略も採用しています。
実験結果から,HyperE2VIDは最新の手法よりも少ないパラメータと高速な推論時間で再現精度が向上することが示された。
関連論文リスト
- E2HQV: High-Quality Video Generation from Event Camera via
Theory-Inspired Model-Aided Deep Learning [53.63364311738552]
バイオインスパイアされたイベントカメラやダイナミックビジョンセンサーは、高時間分解能と高ダイナミックレンジでピクセルごとの明るさ変化(イベントストリームと呼ばれる)を捉えることができる。
イベントストリームを入力として取り出し、直感的な視覚化のために高品質なビデオフレームを生成する、イベント間ビデオ(E2V)ソリューションを求めている。
イベントから高品質なビデオフレームを生成するために設計された新しいE2VパラダイムであるtextbfE2HQVを提案する。
論文 参考訳(メタデータ) (2024-01-16T05:10:50Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-13T15:42:04Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
我々はDynaMoNを提案する。DynaMoNは、カメラのポーズ推定と、高速で正確なノベルビュー合成のためのスタティックス中心のレイサンプリングのための動的コンテンツを扱う。
我々の新しい反復学習方式は、NeRFのトレーニングとポーズパラメータの更新を切り替えて、改良された再構成と軌道推定の品質を向上する。
論文 参考訳(メタデータ) (2023-09-16T08:46:59Z) - Spiking-Fer: Spiking Neural Network for Facial Expression Recognition
With Event Cameras [2.9398911304923447]
Spiking-FER」は深層畳み込みSNNモデルであり、類似したニューラルネットワーク(ANN)と比較する。
実験の結果,提案手法はANNアーキテクチャに匹敵する性能を達成し,最大65.39倍のエネルギーを消費することがわかった。
論文 参考訳(メタデータ) (2023-04-20T10:59:56Z) - NeuS2: Fast Learning of Neural Implicit Surfaces for Multi-view
Reconstruction [95.37644907940857]
我々はNeuS2と呼ばれる高速な神経表面再構成手法を提案する。
NeuS2は、再構成品質を損なうことなく、加速度の2桁の精度向上を実現している。
本研究では,動的シーンの高速トレーニングのための手法を拡張し,インクリメンタルトレーニング戦略と新たなグローバルトランスフォーメーション予測コンポーネントを提案する。
論文 参考訳(メタデータ) (2022-12-10T07:19:43Z) - Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。
近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。
既存のビデオ再構成ネットワークの性能を20~40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
論文 参考訳(メタデータ) (2020-03-20T02:44:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。