論文の概要: Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy
- arxiv url: http://arxiv.org/abs/2009.08283v2
- Date: Mon, 12 Apr 2021 15:19:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 11:48:27.756691
- Title: Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy
- Title（参考訳）: Back to Event Basics:Photometric Constancyによるイベントカメラの自己監督型画像再構成学習
- Authors: F. Paredes-Vall\'es, G. C. H. E. de Croon
- Abstract要約: イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are novel vision sensors that sample, in an asynchronous
fashion, brightness increments with low latency and high temporal resolution.
The resulting streams of events are of high value by themselves, especially for
high speed motion estimation. However, a growing body of work has also focused
on the reconstruction of intensity frames from the events, as this allows
bridging the gap with the existing literature on appearance- and frame-based
computer vision. Recent work has mostly approached this problem using neural
networks trained with synthetic, ground-truth data. In this work we approach,
for the first time, the intensity reconstruction problem from a self-supervised
learning perspective. Our method, which leverages the knowledge of the inner
workings of event cameras, combines estimated optical flow and the event-based
photometric constancy to train neural networks without the need for any
ground-truth or synthetic data. Results across multiple datasets show that the
performance of the proposed self-supervised approach is in line with the
state-of-the-art. Additionally, we propose a novel, lightweight neural network
for optical flow estimation that achieves high speed inference with only a
minor drop in performance.
- Abstract（参考訳）: イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
結果のイベントストリームは、特に高速な動き推定のために、それ自体で高い価値を持つ。
しかし、イベントからの強度フレームの再構築にも焦点が当てられているため、外観とフレームベースのコンピュータビジョンに関する既存の文献とのギャップを埋めることができる。
最近の研究では主に、合成された地中データで訓練されたニューラルネットワークを使ってこの問題にアプローチしている。
本研究では, 自己教師あり学習の観点から, 初めて, 強度再構成問題にアプローチする。
提案手法は, イベントカメラの内部動作の知識を生かし, 推定光流とイベントベース光度濃度を組み合わせ, 地中真実や合成データを必要とせずにニューラルネットワークを訓練する。
複数のデータセットにまたがる結果は、提案された自己監督アプローチのパフォーマンスが最先端と一致していることを示している。
また,光学的フロー推定のための新しい軽量ニューラルネットワークを提案し,性能をわずかに低下させることなく高速な推論を実現する。
関連論文リスト
- A Novel Spike Transformer Network for Depth Estimation from Event Cameras via Cross-modality Knowledge Distillation [3.355813093377501]
イベントカメラは従来のデジタルカメラとは異なる動作をし、データを継続的にキャプチャし、時間、位置、光強度を符号化するバイナリスパイクを生成する。
これは、イベントカメラに適した革新的でスパイク対応のアルゴリズムの開発を必要とする。
スパイクカメラデータから深度推定を行うために,純粋にスパイク駆動のスパイク変圧器ネットワークを提案する。
論文 参考訳（メタデータ） (2024-04-26T11:32:53Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳（メタデータ） (2023-11-08T08:18:23Z) - Neuromorphic Optical Flow and Real-time Implementation with Event
Cameras [47.11134388304464]
イベントベースのビジョンとスパイクニューラルネットワークの最新の開発の上に構築しています。
我々は、最先端の自己監督型光フロー精度を向上させる新しいネットワークアーキテクチャを提案する。
約2桁の複雑さで高速な光流予測を行う。
論文 参考訳（メタデータ） (2023-04-14T14:03:35Z) - Taming Contrast Maximization for Learning Sequential, Low-latency,
Event-based Optical Flow [18.335337530059867]
イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。
これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。
本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
論文 参考訳（メタデータ） (2023-03-09T12:37:33Z) - Physics to the Rescue: Deep Non-line-of-sight Reconstruction for
High-speed Imaging [13.271762773872476]
本稿では,高品位かつ堅牢なNLOS再構成のためのニューラルネットワークに,波動伝搬とボリュームレンダリングの相補的な物理を組み込んだ新しいディープモデルを提案する。
本手法は, 実測値と実測値の両方に基づいて, 従来の物理・学習手法よりも優れていた。
論文 参考訳（メタデータ） (2022-05-03T02:47:02Z) - Spatio-Temporal Recurrent Networks for Event-Based Optical Flow
Estimation [47.984368369734995]
本稿では,イベントベース光フロー推定のためのニューラルネットアーキテクチャを提案する。
このネットワークは、Multi-Vehicle Stereo Event Cameraデータセット上で、セルフ教師付き学習でエンドツーエンドにトレーニングされている。
既存の最先端の手法を大きなマージンで上回る結果が得られた。
論文 参考訳（メタデータ） (2021-09-10T13:37:37Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。
同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。
理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
論文 参考訳（メタデータ） (2020-03-20T08:39:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。