論文の概要: Self-Supervised Intensity-Event Stereo Matching

• arxiv url: http://arxiv.org/abs/2211.00509v1
• Date: Tue, 1 Nov 2022 14:52:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 14:09:45.855481
• Title: Self-Supervised Intensity-Event Stereo Matching
• Title（参考訳）: 自己監督型強度イベントステレオマッチング
• Authors: Jinjin Gu, Jinan Zhou, Ringo Sai Wo Chu, Yan Chen, Jiawei Zhang, Xuanye Cheng, Song Zhang, Jimmy S. Ren
• Abstract要約: イベントカメラはバイオインスパイアされた新しい視覚センサーで、マイクロ秒の精度でピクセルレベルの強度変化を出力する。 イベントカメラは、高品質の強度とイベントを同時に得ることができないため、計算画像タスクに直接適用することはできない。 本稿では,スタンドアロンのイベントカメラと近代的な強度カメラを接続して,両センサを応用することを目的としている。
• 参考スコア（独自算出の注目度）: 24.851819610561517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are novel bio-inspired vision sensors that output pixel-level intensity changes in microsecond accuracy with a high dynamic range and low power consumption. Despite these advantages, event cameras cannot be directly applied to computational imaging tasks due to the inability to obtain high-quality intensity and events simultaneously. This paper aims to connect a standalone event camera and a modern intensity camera so that the applications can take advantage of both two sensors. We establish this connection through a multi-modal stereo matching task. We first convert events to a reconstructed image and extend the existing stereo networks to this multi-modality condition. We propose a self-supervised method to train the multi-modal stereo network without using ground truth disparity data. The structure loss calculated on image gradients is used to enable self-supervised learning on such multi-modal data. Exploiting the internal stereo constraint between views with different modalities, we introduce general stereo loss functions, including disparity cross-consistency loss and internal disparity loss, leading to improved performance and robustness compared to existing approaches. The experiments demonstrate the effectiveness of the proposed method, especially the proposed general stereo loss functions, on both synthetic and real datasets. At last, we shed light on employing the aligned events and intensity images in downstream tasks, e.g., video interpolation application.
• Abstract（参考訳）: イベントカメラはバイオインスパイアされた新しい視覚センサであり、高ダイナミックレンジと低消費電力のマイクロ秒精度で画素レベルの強度変化を出力する。 これらの利点にもかかわらず、イベントカメラは高品質の強度とイベントを同時に得ることができないため、計算画像処理タスクに直接適用できない。 本稿では,スタンドアロンのイベントカメラと近代的な強度カメラを接続して,両センサを応用することを目的とする。 マルチモーダルステレオマッチングタスクを通じてこの接続を確立する。 まず、イベントを再構成した画像に変換し、既存のステレオネットワークをこのマルチモダリティ条件に拡張する。 本研究では,地上の真理不一致データを用いずにマルチモーダルステレオネットワークを訓練する自己教師方式を提案する。 画像勾配に基づいて計算された構造損失は、そのようなマルチモーダルデータの自己教師付き学習を可能にするために用いられる。 異なるモダリティを持つビュー間の内部ステレオ制約を活用し、不一致クロスコンシスタンス損失や内部不一致損失を含む一般的なステレオ損失関数を導入し、既存のアプローチと比較して性能とロバスト性が向上する。 実験は,合成データと実データの両方において,提案手法,特に一般ステレオ損失関数の有効性を示す。 最終的に、下流タスク(例えば、ビデオ補間アプリケーション)における整列イベントと強調画像の利用に光を当てた。

関連論文リスト

• WTCL-Dehaze: Rethinking Real-world Image Dehazing via Wavelet Transform and Contrastive Learning [17.129068060454255]
  自律運転や監視といったアプリケーションには、単一イメージのデハジングが不可欠だ。 コントラスト損失と離散ウェーブレット変換を統合した半教師付きデハージングネットワークを提案する。 提案アルゴリズムは,最先端の単一画像復調法と比較して,優れた性能とロバスト性を実現している。
  論文  参考訳（メタデータ） (2024-10-07T05:36:11Z)
• Temporal Event Stereo via Joint Learning with Stereoscopic Flow [44.479946706395694]
  イベントカメラは生体網膜にインスパイアされた動的視覚センサーである。 本稿では,新しい時間的イベントステレオフレームワークを提案する。 我々はMVSECとDSECデータセットで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2024-07-15T15:43:08Z)
• Neuromorphic Synergy for Video Binarization [54.195375576583864]
  バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。 ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。 本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。 また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
  論文  参考訳（メタデータ） (2024-02-20T01:43:51Z)
• Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing [54.168567276280505]
  画像デハージングのための相互情報駆動型トリプルインタラクションネットワーク(MITNet)を提案する。 振幅誘導ヘイズ除去と呼ばれる第1段階は、ヘイズ除去のためのヘイズ画像の振幅スペクトルを復元することを目的としている。 第2段階は位相誘導構造が洗練され、位相スペクトルの変換と微細化を学ぶことに尽力した。
  論文  参考訳（メタデータ） (2023-08-14T08:23:58Z)
• Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
  高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。 我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。 提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-07-17T04:02:00Z)
• Recovering Continuous Scene Dynamics from A Single Blurry Image with Events [58.7185835546638]
  インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。 両モードの利点を効果的に活用するために、二重注意変換器を提案する。 提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
  論文  参考訳（メタデータ） (2023-04-05T18:44:17Z)
• Stereo Hybrid Event-Frame (SHEF) Cameras for 3D Perception [17.585862399941544]
  イベントカメラは、各ピクセルの明るさ変化を微妙な時間分解能で独立に報告する際、制限に対処する。 統合型複合イベントフレームセンサー(DAVIS)が利用可能だが、データの品質はそのようなカメラの回路製造におけるピクセルレベルでの結合によって損なわれる。 本稿では,高品質なイベントカメラと純粋なフレームカメラを分離したセンサモダリティを提供するステレオハイブリッドイベントフレーム(SHEF)カメラシステムを提案する。
  論文  参考訳（メタデータ） (2021-10-11T04:03:36Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem Formulation [53.850686395708905]
  イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。 本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。 我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
  論文  参考訳（メタデータ） (2020-09-23T10:40:03Z)
• Event-based Stereo Visual Odometry [42.77238738150496]
  ステレオ・イベント・ベースのカメラ・リグが取得したデータから視覚計測の問題に対する解決策を提案する。 我々は,シンプルかつ効率的な表現を用いて,ステレオイベントベースのデータの時間的一貫性を最大化する。
  論文  参考訳（メタデータ） (2020-07-30T15:53:28Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。