論文の概要: Temporal Event Stereo via Joint Learning with Stereoscopic Flow

• arxiv url: http://arxiv.org/abs/2407.10831v1
• Date: Mon, 15 Jul 2024 15:43:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:30:11.765696
• Title: Temporal Event Stereo via Joint Learning with Stereoscopic Flow
• Title（参考訳）: ステレオフローを用いた同時学習による時空間イベントステレオ
• Authors: Hoonhee Cho, Jae-Young Kang, Kuk-Jin Yoon,
• Abstract要約: イベントカメラは生体網膜にインスパイアされた動的視覚センサーである。 本稿では,新しい時間的イベントステレオフレームワークを提案する。 我々はMVSECとDSECデータセットで最先端のパフォーマンスを達成した。
• 参考スコア（独自算出の注目度）: 44.479946706395694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are dynamic vision sensors inspired by the biological retina, characterized by their high dynamic range, high temporal resolution, and low power consumption. These features make them capable of perceiving 3D environments even in extreme conditions. Event data is continuous across the time dimension, which allows a detailed description of each pixel's movements. To fully utilize the temporally dense and continuous nature of event cameras, we propose a novel temporal event stereo, a framework that continuously uses information from previous time steps. This is accomplished through the simultaneous training of an event stereo matching network alongside stereoscopic flow, a new concept that captures all pixel movements from stereo cameras. Since obtaining ground truth for optical flow during training is challenging, we propose a method that uses only disparity maps to train the stereoscopic flow. The performance of event-based stereo matching is enhanced by temporally aggregating information using the flows. We have achieved state-of-the-art performance on the MVSEC and the DSEC datasets. The method is computationally efficient, as it stacks previous information in a cascading manner. The code is available at https://github.com/mickeykang16/TemporalEventStereo.
• Abstract（参考訳）: イベントカメラは生体網膜にインスパイアされた動的視覚センサであり、その高ダイナミックレンジ、高時間分解能、低消費電力が特徴である。 これらの特徴により、極端な状況でも3D環境を知覚することができる。 イベントデータは時間次元にわたって連続しており、各ピクセルの動きを詳細に記述することができる。 イベントカメラの時間的に密度が高く連続的な性質をフル活用するために,従来からの情報を継続的に利用する新しい時間的イベントステレオを提案する。 これは、ステレオカメラからすべてのピクセルの動きをキャプチャする新しいコンセプトである、ステレオフローを伴うイベントステレオマッチングネットワークの同時トレーニングによって実現される。 トレーニング中の光学的流れの基底的真理を求めることは困難であるため,立体的流れの訓練に不均一マップのみを用いる手法を提案する。 イベントベースのステレオマッチングの性能は、フローを用いて情報を時間的に集約することで向上する。 我々はMVSECとDSECデータセットで最先端のパフォーマンスを達成した。 従来の情報をカスケード的に積み重ねるので、計算効率がよい。 コードはhttps://github.com/mickeykang16/TemporalEventStereoで公開されている。

関連論文リスト

• Temporal-Mapping Photography for Event Cameras [5.838762448259289]
  イベントカメラは、従来の強度フレームではなく、連続したイベントストリームとして明るさの変化をキャプチャする。 我々は静的な場面で静止イベントカメラを用いて高密度画像変換を行う。
  論文  参考訳（メタデータ） (2024-03-11T05:29:46Z)
• An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion [36.64856578682197]
  イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。 本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。 具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
  論文  参考訳（メタデータ） (2024-01-06T08:09:54Z)
• EGVD: Event-Guided Video Deraining [57.59935209162314]
  本稿では,ビデオデライニングのためのイベントカメラの可能性を解放するエンド・ツー・エンドの学習ネットワークを提案する。 雨の多いビデオと時間的に同期されたイベントストリームからなる現実世界のデータセットを構築します。
  論文  参考訳（メタデータ） (2023-09-29T13:47:53Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [90.66285408745453]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において困難である。 ほとんどの最先端の手法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Self-Supervised Intensity-Event Stereo Matching [24.851819610561517]
  イベントカメラはバイオインスパイアされた新しい視覚センサーで、マイクロ秒の精度でピクセルレベルの強度変化を出力する。 イベントカメラは、高品質の強度とイベントを同時に得ることができないため、計算画像タスクに直接適用することはできない。 本稿では,スタンドアロンのイベントカメラと近代的な強度カメラを接続して,両センサを応用することを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T14:52:25Z)
• 3D-FlowNet: Event-based optical flow estimation with 3D representation [2.062593640149623]
  イベントベースのカメラは、高速モーション検出などの重要なタスクのためにフレームベースのカメラ制限を克服することができる。 ディープニューラルネットワークは、非同期で離散的なイベントデータを扱うようには適していない。 本稿では,3次元入力表現を処理し,光フロー推定を出力できる新しいネットワークアーキテクチャである3D-FlowNetを提案する。
  論文  参考訳（メタデータ） (2022-01-28T17:28:15Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)
• Event-based Stereo Visual Odometry [42.77238738150496]
  ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。 我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
  論文  参考訳（メタデータ） (2020-07-30T15:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。