論文の概要: Learning Monocular Depth from Events via Egomotion Compensation
- arxiv url: http://arxiv.org/abs/2412.19067v1
- Date: Thu, 26 Dec 2024 05:41:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:27:26.628753
- Title: Learning Monocular Depth from Events via Egomotion Compensation
- Title（参考訳）: エゴモーション補償による事象からの単眼深度学習
- Authors: Haitao Meng, Chonghao Zhong, Sheng Tang, Lian JunJia, Wenwei Lin, Zhenshan Bing, Yi Chang, Gang Chen, Alois Knoll,
- Abstract要約: イベントカメラはニューロモルフィックにインスパイアされたセンサーで、明るさの変化をわずかに、非同期に報告する。
本研究では,様々な深度仮説の確率を運動補償の効果で明確に決定する,解釈可能な単眼深度推定フレームワークを提案する。
提案手法は, 絶対相対誤差距離において, 最先端手法を最大10%向上させる。
- 参考スコア（独自算出の注目度）: 20.388521240421948
- License:
- Abstract: Event cameras are neuromorphically inspired sensors that sparsely and asynchronously report brightness changes. Their unique characteristics of high temporal resolution, high dynamic range, and low power consumption make them well-suited for addressing challenges in monocular depth estimation (e.g., high-speed or low-lighting conditions). However, current existing methods primarily treat event streams as black-box learning systems without incorporating prior physical principles, thus becoming over-parameterized and failing to fully exploit the rich temporal information inherent in event camera data. To address this limitation, we incorporate physical motion principles to propose an interpretable monocular depth estimation framework, where the likelihood of various depth hypotheses is explicitly determined by the effect of motion compensation. To achieve this, we propose a Focus Cost Discrimination (FCD) module that measures the clarity of edges as an essential indicator of focus level and integrates spatial surroundings to facilitate cost estimation. Furthermore, we analyze the noise patterns within our framework and improve it with the newly introduced Inter-Hypotheses Cost Aggregation (IHCA) module, where the cost volume is refined through cost trend prediction and multi-scale cost consistency constraints. Extensive experiments on real-world and synthetic datasets demonstrate that our proposed framework outperforms cutting-edge methods by up to 10\% in terms of the absolute relative error metric, revealing superior performance in predicting accuracy.
- Abstract（参考訳）: イベントカメラはニューロモルフィックにインスパイアされたセンサーで、明るさの変化をわずかに、非同期に報告する。
高時間分解能、高ダイナミックレンジ、低消費電力の特徴的な特徴は、単分子深度推定(例えば、高速または低照度条件)の課題に対処するのに適している。
しかし,既存の手法では,従来の物理原理を取り入れずに,イベントストリームをブラックボックス学習システムとして扱うことで,過度にパラメータ化され,イベントカメラデータに固有の豊富な時間情報を完全に活用することができない。
この制限に対処するために、物理運動原理を取り入れて、様々な深度仮説が運動補償の効果によって明確に決定される解釈可能な単眼深度推定フレームワークを提案する。
これを実現するために,焦点レベルの重要な指標としてエッジの明瞭度を測定し,空間環境を統合してコスト推定を容易にするFCD(Focus Cost Discrimination)モジュールを提案する。
さらに,我々のフレームワーク内のノイズパターンを分析し,コストトレンド予測とマルチスケールコスト整合性制約によってコスト容積を改良する,新たに導入されたInter-Hypotheses Cost Aggregation (IHCA)モジュールを用いて改善する。
実世界のデータセットと合成データセットの大規模な実験により,提案手法は絶対相対誤差の基準で最大10倍の精度で最先端の手法より優れており,精度の予測性能が優れていることが示された。
関連論文リスト
- Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。
ディープラーニングによる異常検出が重要な方向として現れている。
エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文 参考訳（メタデータ） (2024-11-06T15:38:31Z) - Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。
連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
論文 参考訳（メタデータ） (2024-07-15T15:18:28Z) - Self-supervised Event-based Monocular Depth Estimation using Cross-modal
Consistency [18.288912105820167]
EMoDepth という自己教師型イベントベース単眼深度推定フレームワークを提案する。
EMoDepthは、ピクセル座標内のイベントに整合した強度フレームからのクロスモーダル一貫性を使用して、トレーニングプロセスを制約する。
推論では、単分子深度予測にはイベントのみを使用する。
論文 参考訳（メタデータ） (2024-01-14T07:16:52Z) - DS-Depth: Dynamic and Static Depth Estimation via a Fusion Cost Volume [26.990400985745786]
移動物体を記述するために残留光流を利用する新しい動的コスト容積を提案する。
その結果,本モデルは自己教師付き単分子深度推定の基準線よりも優れていた。
論文 参考訳（メタデータ） (2023-08-14T15:57:42Z) - FEDORA: Flying Event Dataset fOr Reactive behAvior [9.470870778715689]
イベントベースのセンサーは、高速な動きを捉えるための標準フレームベースのカメラに代わる低レイテンシと低エネルギーの代替として登場した。
Flying Eventデータセット fOr Reactive behAviour (FEDORA) - 知覚タスクのための完全に合成されたデータセット。
論文 参考訳（メタデータ） (2023-05-22T22:59:05Z) - Practical Exposure Correction: Great Truths Are Always Simple [65.82019845544869]
我々は,効率と性能の特性を組み立てるPEC(Practical Exposure Corrector)を確立する。
観測結果から有用な情報を抽出するキーエンジンとして,露光対向関数を導入する。
我々の実験は提案したPECの優位性を十分に明らかにしている。
論文 参考訳（メタデータ） (2022-12-29T09:52:13Z) - Rethinking Cost-sensitive Classification in Deep Learning via
Adversarial Data Augmentation [4.479834103607382]
コストに敏感な分類は、誤分類エラーがコストで大きく異なるアプリケーションにおいて重要である。
本稿では,過度パラメータ化モデルにコスト感受性を持たせるために,コスト依存型逆データ拡張フレームワークを提案する。
提案手法は,全体のコストを効果的に最小化し,臨界誤差を低減するとともに,全体的な精度で同等の性能を達成できる。
論文 参考訳（メタデータ） (2022-08-24T19:00:30Z) - Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular
Depth Estimation by Integrating IMU Motion Dynamics [74.1720528573331]
教師なし単眼深度と自我運動推定は近年広く研究されている。
我々は、視覚情報とIMUモーションダイナミクスを統合した新しいスケールアウェアフレームワークDynaDepthを提案する。
我々は、KITTIおよびMake3Dデータセット上で広範囲な実験とシミュレーションを行うことにより、DynaDepthの有効性を検証する。
論文 参考訳（メタデータ） (2022-07-11T07:50:22Z) - DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。
アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。
DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-05-28T16:18:08Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Object-based Illumination Estimation with Rendering-aware Neural
Networks [56.01734918693844]
個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。
推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
論文 参考訳（メタデータ） (2020-08-06T08:23:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。