論文の概要: Unsupervised Joint Learning of Optical Flow and Intensity with Event Cameras
- arxiv url: http://arxiv.org/abs/2503.17262v2
- Date: Tue, 22 Jul 2025 07:55:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 15:16:10.961234
- Title: Unsupervised Joint Learning of Optical Flow and Intensity with Event Cameras
- Title（参考訳）: イベントカメラによる光学的流れと強度の教師なし共同学習
- Authors: Shuang Guo, Friedhelm Hamann, Guillermo Gallego,
- Abstract要約: イベントカメラは、シーンの外観に関する情報を得るために動きに依存している。
本稿では,単一ネットワークを用いた光フロー(動き)と画像強度(出現)を共同で推定する教師なし学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.125596394858192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event cameras rely on motion to obtain information about scene appearance. This means that appearance and motion are inherently linked: either both are present and recorded in the event data, or neither is captured. Previous works treat the recovery of these two visual quantities as separate tasks, which does not fit with the above-mentioned nature of event cameras and overlooks the inherent relations between them. We propose an unsupervised learning framework that jointly estimates optical flow (motion) and image intensity (appearance) using a single network. From the data generation model, we newly derive the event-based photometric error as a function of optical flow and image intensity. This error is further combined with the contrast maximization framework to form a comprehensive loss function that provides proper constraints for both flow and intensity estimation. Exhaustive experiments show our method's state-of-the-art performance: in optical flow estimation, it reduces EPE by 20% and AE by 25% compared to unsupervised approaches, while delivering competitive intensity estimation results, particularly in high dynamic range scenarios. Our method also achieves shorter inference time than all other optical flow methods and many of the image reconstruction methods, while they output only one quantity. Project page: https://github.com/tub-rip/E2FAI
- Abstract（参考訳）: イベントカメラは、シーンの外観に関する情報を得るために動きに依存している。
これは、外見と動きが本質的にリンクされていることを意味します。どちらもイベントデータに存在して記録されているか、キャプチャされないかのいずれかです。
従来の作業では、これらの2つの視覚量の回復は、上記のようなイベントカメラの性質に適合せず、それら間の固有の関係を見落としている。
本稿では,単一ネットワークを用いた光フロー(動き)と画像強度(出現)を共同で推定する教師なし学習フレームワークを提案する。
データ生成モデルから、光学フローと画像強度の関数として、イベントベースの測光誤差を新たに導出する。
この誤差はさらに、コントラスト最大化フレームワークと組み合わせて、フローとインテンシティ推定の両方に適切な制約を与える包括的損失関数を形成する。
光流量推定では、EPEを20%減らし、AEを25%減らし、特に高ダイナミックレンジのシナリオにおいて競合強度推定結果を提供する。
提案手法は,他の光学的フロー法や画像再構成法よりも短い推論時間を実現し,出力量は1つに留まる。
プロジェクトページ:https://github.com/tub-rip/E2FAI
関連論文リスト
- One Diffusion to Generate Them All [54.82732533013014]
OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。
テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。
OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
論文 参考訳（メタデータ） (2024-11-25T12:11:05Z) - Recovering Continuous Scene Dynamics from A Single Blurry Image with
Events [58.7185835546638]
インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。
両モードの利点を効果的に活用するために、二重注意変換器を提案する。
提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
論文 参考訳（メタデータ） (2023-04-05T18:44:17Z) - Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
汚れは視覚的により快適な写真を提供し、写真がより便利になる。
非均一な曖昧さを数学的にモデル化することは困難である。
我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
論文 参考訳（メタデータ） (2023-01-18T06:37:21Z) - Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。
既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。
本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-16T17:53:18Z) - Motion-inductive Self-supervised Object Discovery in Videos [99.35664705038728]
本稿では,連続的なRGBフレームの処理モデルを提案し,層状表現を用いて任意のフレーム間の光の流れを推定する。
3つの公開ビデオセグメンテーションデータセットにおいて,従来の最先端手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-01T08:38:28Z) - Secrets of Event-Based Optical Flow [13.298845944779108]
イベントカメラはシーンダイナミクスに反応し、動きを推定する利点を提供する。
コントラスト最大化フレームワークを拡張し、イベントのみから光の流れを推定する原理的手法を開発した。
本手法はMVSECベンチマークにおける教師なし手法の中で第1位であり,DSECベンチマークでは競争力がある。
論文 参考訳（メタデータ） (2022-07-20T16:40:38Z) - Time Lens++: Event-based Frame Interpolation with Parametric Non-linear
Flow and Multi-scale Fusion [47.57998625129672]
イベントや画像から1ショットの非線形なフレーム間動きを複数スケールのフィーチャレベル融合と計算する。
提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
論文 参考訳（メタデータ） (2022-03-31T17:14:58Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳（メタデータ） (2021-08-24T07:39:08Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Back to Event Basics: Self-Supervised Learning of Image Reconstruction
for Event Cameras via Photometric Constancy [0.0]
イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。
本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。
複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
論文 参考訳（メタデータ） (2020-09-17T13:30:05Z) - Single Image Optical Flow Estimation with an Event Camera [38.92408855196647]
イベントカメラはバイオインスパイアされたセンサーで、マイクロ秒解像度の強度変化を報告している。
本稿では,単一画像(潜在的にぼやけた)とイベントに基づく光フロー推定手法を提案する。
論文 参考訳（メタデータ） (2020-04-01T11:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。