論文の概要: Unsupervised Joint Learning of Optical Flow and Intensity with Event Cameras

• arxiv url: http://arxiv.org/abs/2503.17262v1
• Date: Fri, 21 Mar 2025 16:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:57:32.431516
• Title: Unsupervised Joint Learning of Optical Flow and Intensity with Event Cameras
• Title（参考訳）: イベントカメラによる光学的流れと強度の教師なし共同学習
• Authors: Shuang Guo, Friedhelm Hamann, Guillermo Gallego,
• Abstract要約: イベントカメラは、シーンの外観に関する情報を得るために動きに依存している。 本稿では,光フロー(動き)と画像強度(出現)を1つのネットワークで共同で推定する,教師なし学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.125596394858192
• License:
• Abstract: Event cameras rely on motion to obtain information about scene appearance. In other words, for event cameras, motion and appearance are seen both or neither, which are encoded in the output event stream. Previous works consider recovering these two visual quantities as separate tasks, which does not fit with the nature of event cameras and neglects the inherent relations between both tasks. In this paper, we propose an unsupervised learning framework that jointly estimates optical flow (motion) and image intensity (appearance), with a single network. Starting from the event generation model, we newly derive the event-based photometric error as a function of optical flow and image intensity, which is further combined with the contrast maximization framework, yielding a comprehensive loss function that provides proper constraints for both flow and intensity estimation. Exhaustive experiments show that our model achieves state-of-the-art performance for both optical flow (achieves 20% and 25% improvement in EPE and AE respectively in the unsupervised learning category) and intensity estimation (produces competitive results with other baselines, particularly in high dynamic range scenarios). Last but not least, our model achieves shorter inference time than all the other optical flow models and many of the image reconstruction models, while they output only one quantity. Project page: https://github.com/tub-rip/e2fai
• Abstract（参考訳）: イベントカメラは、シーンの外観に関する情報を得るために動きに依存している。 言い換えれば、イベントカメラには、出力イベントストリームにエンコードされる動きと外観の両方が見える。 これまでの作業では、これら2つの視覚的量を個別のタスクとして回収することを検討するが、これはイベントカメラの性質に適合せず、両方のタスクの固有の関係を無視している。 本稿では,光学的フロー(動き)と画像強度(出現)を1つのネットワークで共同で推定する,教師なし学習フレームワークを提案する。 イベント生成モデルから、光学フローと画像強度の関数としてイベントベースの測光誤差を新たに導出し、コントラスト最大化フレームワークと組み合わせることで、フローと強度推定の両方に適切な制約を与える包括的損失関数を得る。 実験結果から,本モデルは,光学的流れ(EPEとAEのそれぞれ20%と25%の改善)と強度推定(特に高ダイナミックレンジのシナリオにおいて,他のベースラインと競合する結果を生み出す)の両方に対して,最先端の性能を達成できることが示唆された。 最後に、我々のモデルは、他の全ての光学フローモデルや多くの画像再構成モデルよりも短い推論時間を実現し、1つの量しか出力しない。 プロジェクトページ:https://github.com/tub-rip/e2fai

関連論文リスト

• One Diffusion to Generate Them All [54.82732533013014]
  OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。 テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。 OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-11-25T12:11:05Z)
• Learning Dense and Continuous Optical Flow from an Event Camera [28.77846425802558]
  DAVISのようなイベントカメラは、高時間分解能イベントと低フレームレートの強度イメージを同時に出力することができる。 既存の光学フロー推定法のほとんどは、2つの連続した画像フレームに基づいており、固定時間間隔でのみ離散フローを推定できる。 本稿では,イベントストリームを持つ単一画像から,深層学習に基づく高密度かつ連続的な光フロー推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-16T17:53:18Z)
• Motion-inductive Self-supervised Object Discovery in Videos [99.35664705038728]
  本稿では,連続的なRGBフレームの処理モデルを提案し,層状表現を用いて任意のフレーム間の光の流れを推定する。 3つの公開ビデオセグメンテーションデータセットにおいて,従来の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-01T08:38:28Z)
• Secrets of Event-Based Optical Flow [13.298845944779108]
  イベントカメラはシーンダイナミクスに反応し、動きを推定する利点を提供する。 コントラスト最大化フレームワークを拡張し、イベントのみから光の流れを推定する原理的手法を開発した。 本手法はMVSECベンチマークにおける教師なし手法の中で第1位であり,DSECベンチマークでは競争力がある。
  論文  参考訳（メタデータ） (2022-07-20T16:40:38Z)
• Time Lens++: Event-based Frame Interpolation with Parametric Non-linear Flow and Multi-scale Fusion [47.57998625129672]
  イベントや画像から1ショットの非線形なフレーム間動きを複数スケールのフィーチャレベル融合と計算する。 提案手法は,PSNRで最大0.2dB,LPIPSで最大15%の再現性向上を実現する。
  論文  参考訳（メタデータ） (2022-03-31T17:14:58Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy [0.0]
  イベントカメラは、非同期な方法で、低レイテンシで高時間分解能の輝度インクリメントをサンプリングする新しい視覚センサである。 本稿では,光学的フロー推定のための新しい軽量ニューラルネットワークを提案する。 複数のデータセットにまたがる結果から、提案した自己教師型アプローチのパフォーマンスは最先端技術と一致していることがわかる。
  論文  参考訳（メタデータ） (2020-09-17T13:30:05Z)
• Single Image Optical Flow Estimation with an Event Camera [38.92408855196647]
  イベントカメラはバイオインスパイアされたセンサーで、マイクロ秒解像度の強度変化を報告している。 本稿では,単一画像(潜在的にぼやけた)とイベントに基づく光フロー推定手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T11:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。