論文の概要: Event-Driven Dynamic Scene Depth Completion

• arxiv url: http://arxiv.org/abs/2505.13279v2
• Date: Tue, 20 May 2025 07:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.464035
• Title: Event-Driven Dynamic Scene Depth Completion
• Title（参考訳）: イベント駆動動的シーン深度補完
• Authors: Zhiqiang Yan, Jianhao Jiao, Zhengxue Wang, Gim Hee Lee,
• Abstract要約: EventDCは、最初のイベント駆動のディープコンプリートフレームワークである。 Event-Modulated Alignment (EMA) と Local Depth Filtering (LDF) の2つの重要なコンポーネントで構成されている。
• 参考スコア（独自算出の注目度）: 50.01494043834177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth completion in dynamic scenes poses significant challenges due to rapid ego-motion and object motion, which can severely degrade the quality of input modalities such as RGB images and LiDAR measurements. Conventional RGB-D sensors often struggle to align precisely and capture reliable depth under such conditions. In contrast, event cameras with their high temporal resolution and sensitivity to motion at the pixel level provide complementary cues that are %particularly beneficial in dynamic environments.To this end, we propose EventDC, the first event-driven depth completion framework. It consists of two key components: Event-Modulated Alignment (EMA) and Local Depth Filtering (LDF). Both modules adaptively learn the two fundamental components of convolution operations: offsets and weights conditioned on motion-sensitive event streams. In the encoder, EMA leverages events to modulate the sampling positions of RGB-D features to achieve pixel redistribution for improved alignment and fusion. In the decoder, LDF refines depth estimations around moving objects by learning motion-aware masks from events. Additionally, EventDC incorporates two loss terms to further benefit global alignment and enhance local depth recovery. Moreover, we establish the first benchmark for event-based depth completion comprising one real-world and two synthetic datasets to facilitate future research. Extensive experiments on this benchmark demonstrate the superiority of our EventDC.
• Abstract（参考訳）: RGB画像やLiDAR測定などの入力モダリティの質を著しく低下させることができる。 従来のRGB-Dセンサーは、正確な調整と、そのような条件下での信頼性の高い深度を捉えるのに苦労することが多い。 対照的に、時間分解能が高く、画素レベルの動きに敏感なイベントカメラは、動的環境において特に有益である相補的な手がかりを提供する。 Event-Modulated Alignment (EMA) と Local Depth Filtering (LDF) の2つの重要なコンポーネントで構成されている。 どちらのモジュールも、動きに敏感なイベントストリームで条件付けられたオフセットとウェイトという、畳み込み操作の2つの基本的なコンポーネントを適応的に学習する。 エンコーダでは、イベントを利用してRGB-D特徴のサンプリング位置を変調し、画素再分配を実現し、アライメントと融合を改善した。 このデコーダでは、イベントから動き認識マスクを学習することにより、移動物体の周囲の深さ推定を洗練させる。 さらに、EventDCには2つの損失項が組み込まれており、グローバルアライメントのさらなるメリットと、局所的な深度回復の強化を実現している。 さらに,1つの実世界と2つの合成データセットからなるイベントベースディープコンプリートの最初のベンチマークを構築し,今後の研究を促進する。 このベンチマークに関する大規模な実験は、EventDCの優位性を実証しています。

関連論文リスト

• The Devil is in the Details: Boosting Guided Depth Super-Resolution via Rethinking Cross-Modal Alignment and Aggregation [41.12790340577986]
  誘導深度超解像(GDSR)は、同じシーンの高解像度のRGB画像を用いて、行方不明の深度の詳細を復元する。 それまでのアプローチでは、マルチモーダル入力の不均一性と相補性に苦慮し、モーダルなミスアライメント、幾何学的なミスアライメント、特徴選択といった問題を無視してきた。
  論文  参考訳（メタデータ） (2024-01-16T05:37:08Z)
• Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
  既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。 我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。 我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
  論文  参考訳（メタデータ） (2023-09-18T06:51:41Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
  高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。 我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。 提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2023-07-17T04:02:00Z)
• Dual Memory Aggregation Network for Event-Based Object Detection with Learnable Representation [79.02808071245634]
  イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。 イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。 長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
  論文  参考訳（メタデータ） (2023-03-17T12:12:41Z)
• Consistent Direct Time-of-Flight Video Depth Super-Resolution [9.173767380836852]
  飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。 低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。 動的オブジェクトと現実的なdToFシミュレータを備えた,最初の合成RGB-dToFビデオデータセットであるDyDToFを紹介する。
  論文  参考訳（メタデータ） (2022-11-16T04:16:20Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• DeepRM: Deep Recurrent Matching for 6D Pose Refinement [77.34726150561087]
  DeepRMは、6Dポーズ改善のための新しいリカレントネットワークアーキテクチャである。 アーキテクチャにはLSTMユニットが組み込まれ、各改善ステップを通じて情報を伝達する。 DeepRMは、2つの広く受け入れられている課題データセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-05-28T16:18:08Z)
• Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection [78.47767202232298]
  本稿では,RGB-D SODのためのクロスモダリティ離散相互作用ネットワーク(CDINet)を提案する。 2つのコンポーネントは、効果的な相互モダリティ相互作用を実装するように設計されている。 我々のネットワークは、定量的にも質的にも15ドルの最先端の手法より優れています。
  論文  参考訳（メタデータ） (2021-08-04T11:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。