論文の概要: Revisit Event Generation Model: Self-Supervised Learning of Event-to-Video Reconstruction with Implicit Neural Representations

• arxiv url: http://arxiv.org/abs/2407.18500v1
• Date: Fri, 26 Jul 2024 04:18:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:20:08.097146
• Title: Revisit Event Generation Model: Self-Supervised Learning of Event-to-Video Reconstruction with Implicit Neural Representations
• Title（参考訳）: 更新イベント生成モデル:意図しないニューラル表現を用いたイベント・ツー・ビデオ再構成の自己教師付き学習
• Authors: Zipeng Wang, Yunfan Lu, Lin Wang,
• Abstract要約: 本稿では,ラベル付きデータや光フロー推定を必要としない新しいSSLイベント・ビデオ再構成手法であるEvINRを提案する。 我々は、(x, y, t)$を座標とする暗黙的ニューラル表現(INR)を用いて、事象発生方程式を表現する。 オンラインの要求に対してEvINRを実現するために,トレーニングプロセスを大幅に高速化するいくつかのアクセラレーション手法を提案する。
• 参考スコア（独自算出の注目度）: 11.874972134063638
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing intensity frames from event data while maintaining high temporal resolution and dynamic range is crucial for bridging the gap between event-based and frame-based computer vision. Previous approaches have depended on supervised learning on synthetic data, which lacks interpretability and risk over-fitting to the setting of the event simulator. Recently, self-supervised learning (SSL) based methods, which primarily utilize per-frame optical flow to estimate intensity via photometric constancy, has been actively investigated. However, they are vulnerable to errors in the case of inaccurate optical flow. This paper proposes a novel SSL event-to-video reconstruction approach, dubbed EvINR, which eliminates the need for labeled data or optical flow estimation. Our core idea is to reconstruct intensity frames by directly addressing the event generation model, essentially a partial differential equation (PDE) that describes how events are generated based on the time-varying brightness signals. Specifically, we utilize an implicit neural representation (INR), which takes in spatiotemporal coordinate $(x, y, t)$ and predicts intensity values, to represent the solution of the event generation equation. The INR, parameterized as a fully-connected Multi-layer Perceptron (MLP), can be optimized with its temporal derivatives supervised by events. To make EvINR feasible for online requisites, we propose several acceleration techniques that substantially expedite the training process. Comprehensive experiments demonstrate that our EvINR surpasses previous SSL methods by 38% w.r.t. Mean Squared Error (MSE) and is comparable or superior to SoTA supervised methods. Project page: https://vlislab22.github.io/EvINR/.
• Abstract（参考訳）: イベントベースとフレームベースのコンピュータビジョンのギャップを埋めるためには、高時間分解能とダイナミックレンジを維持しながら、イベントデータから強度フレームを再構築することが不可欠である。 これまでのアプローチは、イベントシミュレータの設定に過度に適合する解釈可能性やリスクに欠ける合成データによる教師あり学習に依存していた。 近年,光干渉による強度推定にフレーム単位の光フローを主体とした自己教師あり学習法が盛んに研究されている。 しかし、不正確な光流の場合の誤差に弱い。 本稿では,ラベル付きデータや光フロー推定を必要としない新しいSSLイベント・ビデオ再構成手法であるEvINRを提案する。 我々の中核となる考え方は、事象生成モデル(本質的には偏微分方程式(PDE))に時間変化の明るさ信号に基づいてイベントがどのように生成されるかを記述することで、強度フレームを再構築することである。 具体的には、時空間座標を$(x, y, t)$とし、強度値を予測する暗黙的ニューラル表現(INR)を用いて、事象発生方程式の解を表す。 INRは、完全に接続された多層パーセプトロン(MLP)としてパラメータ化され、イベントによって制御される時間微分で最適化することができる。 オンラインの要求に対してEvINRを実現するために,トレーニングプロセスを大幅に高速化するいくつかのアクセラレーション手法を提案する。 包括的な実験により、EvINRは従来のSSLメソッドを38%上回り、SoTAの監視手法に匹敵するか、優れていることが示された。 プロジェクトページ:https://vlislab22.github.io/EvINR/。

関連論文リスト

• EAS-SNN: End-to-End Adaptive Sampling and Representation for Event-based Detection with Recurrent Spiking Neural Networks [14.046487518350792]
  スパイキングニューラルネットワーク(SNN)は、スパーススパイク通信を通じてイベント駆動の操作を行う。 本稿では,Residual potential Dropout (RPD) と Spike-Aware Training (SAT) を導入する。 我々の方法では、Gen1データセットで4.4%のmAP改善が得られ、パラメータは38%減少し、3つのタイムステップしか必要としない。
  論文  参考訳（メタデータ） (2024-03-19T09:34:11Z)
• Fast Window-Based Event Denoising with Spatiotemporal Correlation Enhancement [85.66867277156089]
  同時にイベントのスタックを扱うウィンドウベースのイベントデノゲーションを提案する。 空間領域では、実世界の事象と雑音を識別するために、最大後部(MAP)を選択する。 我々のアルゴリズムは、イベントノイズを効果的かつ効率的に除去し、下流タスクの性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-14T15:56:42Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• SinSR: Diffusion-Based Image Super-Resolution in a Single Step [119.18813219518042]
  拡散モデルに基づく超解像(SR)法は有望な結果を示す。 しかし、それらの実践的応用は、必要な推論ステップのかなりの数によって妨げられている。 本稿では,SinSRという単一ステップのSR生成を実現するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T16:21:29Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• FFEINR: Flow Feature-Enhanced Implicit Neural Representation for Spatio-temporal Super-Resolution [4.577685231084759]
  本稿では,フローフィールドデータの超高分解能化のための特徴強調型ニューラルインシシット表現(FFEINR)を提案する。 モデル構造とサンプリング分解能の観点から、暗黙のニューラル表現を最大限に活用することができる。 FFEINRのトレーニングプロセスは、入力層に機能拡張を導入することで容易になる。
  論文  参考訳（メタデータ） (2023-08-24T02:28:18Z)
• Taming Contrast Maximization for Learning Sequential, Low-latency, Event-based Optical Flow [18.335337530059867]
  イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。 これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。 本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-09T12:37:33Z)
• Optical flow estimation from event-based cameras and spiking neural networks [0.4899818550820575]
  イベントベースセンサーはスパイキングニューラルネットワーク(SNN)に最適である 教師付きトレーニング後,高密度光フロー推定が可能なU-NetライクなSNNを提案する。 分離可能な畳み込みにより、我々は、合理的に正確な光フロー推定が得られる光モデルを開発することができた。
  論文  参考訳（メタデータ） (2023-02-13T16:17:54Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。