Fugu-MT 論文翻訳(概要): Event-aided Semantic Scene Completion

論文の概要: Event-aided Semantic Scene Completion

arxiv url: http://arxiv.org/abs/2502.02334v1
Date: Tue, 04 Feb 2025 14:12:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 14:53:06.211983
Title: Event-aided Semantic Scene Completion
Title（参考訳）: イベント支援セマンティックシーンの完成
Authors: Shangwei Guo, Hao Shi, Song Wang, Xiaoting Yin, Kailun Yang, Kaiwei Wang,
Abstract要約: DSEC-SSCは,イベント支援セマンティックシーンコンプリート(SSC)に特化して設計された,世界初の実世界のベンチマークである。提案するRGB-Event融合フレームワークであるEvSSCでは,2D RGB-Event 機能を 3D 空間に効果的にブリッジする Event-Aided Lifting Module (ELM) が導入された。運動ぼけおよび極端気象条件下でのEvSSCの優位性を定量的に定性的に検証した。
参考スコア（独自算出の注目度）: 31.03895014799495
License:
Abstract: Autonomous driving systems rely on robust 3D scene understanding. Recent advances in Semantic Scene Completion (SSC) for autonomous driving underscore the limitations of RGB-based approaches, which struggle under motion blur, poor lighting, and adverse weather. Event cameras, offering high dynamic range and low latency, address these challenges by providing asynchronous data that complements RGB inputs. We present DSEC-SSC, the first real-world benchmark specifically designed for event-aided SSC, which includes a novel 4D labeling pipeline for generating dense, visibility-aware labels that adapt dynamically to object motion. Our proposed RGB-Event fusion framework, EvSSC, introduces an Event-aided Lifting Module (ELM) that effectively bridges 2D RGB-Event features to 3D space, enhancing view transformation and the robustness of 3D volume construction across SSC models. Extensive experiments on DSEC-SSC and simulated SemanticKITTI-E demonstrate that EvSSC is adaptable to both transformer-based and LSS-based SSC architectures. Notably, evaluations on SemanticKITTI-C demonstrate that EvSSC achieves consistently improved prediction accuracy across five degradation modes and both In-domain and Out-of-domain settings, achieving up to a 52.5% relative improvement in mIoU when the image sensor partially fails. Additionally, we quantitatively and qualitatively validate the superiority of EvSSC under motion blur and extreme weather conditions, where autonomous driving is challenged. The established datasets and our codebase will be made publicly at https://github.com/Pandapan01/EvSSC.
Abstract（参考訳）: 自律運転システムは、堅牢な3Dシーン理解に依存している。自律運転のためのセマンティックシーンコンプリート(SSC)の最近の進歩は、動きのぼやけ、照明不良、悪天候に苦しむRGBベースのアプローチの限界を浮き彫りにしている。高ダイナミックレンジと低レイテンシを提供するイベントカメラは、RGB入力を補完する非同期データを提供することによって、これらの課題に対処する。 DSEC-SSCは、イベント支援SSC用に特別に設計された最初の実世界のベンチマークであり、オブジェクトの動きに動的に適応する密度の高い可視性を持つラベルを生成する新しい4Dラベリングパイプラインを含む。提案するRGB-Event融合フレームワークであるEvSSCは,2次元RGB-Event機能を3次元空間に効果的にブリッジするイベント支援リフティングモジュール(ELM)を導入し,ビュー変換とSSCモデル間の3次元ボリューム構成の堅牢性を向上させる。 DSEC-SSCとシミュレートされたSemanticKITTI-Eの広範な実験は、EvSSCがトランスフォーマーベースおよびLSSベースのSSCアーキテクチャの両方に適用可能であることを示した。特に、SemanticKITTI-Cの評価では、EvSSCは5つの劣化モードとドメイン内および外部設定の両方で一貫して改善された予測精度を達成し、画像センサが部分的に故障した場合、最大52.5%の相対的なmIoU改善を実現している。さらに,自律運転が課題となる運動ぼけおよび極端気象条件下でのEvSSCの優位性を定量的に定性的に検証した。確立されたデータセットとコードベースはhttps://github.com/Pandapan01/EvSSC.comで公開されます。

関連論文リスト

Robust 3D Semantic Occupancy Prediction with Calibration-free Spatial Transformation [32.50849425431012]
マルチカメラとLiDARを備えた自動運転車では、高精度で堅牢な予測のために、マルチセンサー情報を統一された3D空間に集約することが重要である。最近の手法は主にセンサキャリブレーションに依存する2D-to-3D変換に基づいて構築され,2D画像情報を3D空間に投影する。本研究では,空間対応を暗黙的にモデル化するために,バニラ注意に基づく校正自由空間変換を提案する。
論文参考訳（メタデータ） (2024-11-19T02:40:42Z)
DeSiRe-GS: 4D Street Gaussians for Static-Dynamic Decomposition and Surface Reconstruction for Urban Driving Scenes [71.61083731844282]
本稿では,自己教師型ガウススプラッティング表現であるDeSiRe-GSについて述べる。複雑な駆動シナリオにおいて、効率的な静的・動的分解と高忠実な表面再構成を可能にする。
論文参考訳（メタデータ） (2024-11-18T05:49:16Z)
ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文参考訳（メタデータ） (2024-11-12T11:32:56Z)
HybridOcc: NeRF Enhanced Transformer-based Multi-Camera 3D Occupancy Prediction [14.000919964212857]
視覚に基づく3Dセマンティックシーン補完は、3Dボリューム表現を通して自律走行シーンを記述する。 HybridOccはTransformerフレームワークとNeRF表現によって生成されるハイブリッド3Dボリュームクエリ提案手法である。本研究では,シーン表面に焦点をあてるのではなく,SSCタスクのオリエント化を図るために,革新的な占有光サンプリング手法を提案する。
論文参考訳（メタデータ） (2024-08-17T05:50:51Z)
Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging Conditions [29.608665442108727]
イベントベースのカメラはバイオインスパイアされた視覚センサーであり、HDR条件でよく機能し、時間分解能が高い。本研究は、代替センサのマッピングが許された場合、純粋にイベントベースのトラッキングの実現可能性を示す。この手法は、半密度マップとイベントの幾何学的3D-2D登録に依存しており、信頼性が高く正確なクロスモーダル追跡結果が得られる。
論文参考訳（メタデータ） (2024-01-16T01:48:45Z)
Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文参考訳（メタデータ） (2023-11-18T08:48:58Z)
EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文参考訳（メタデータ） (2023-08-25T23:51:07Z)
SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving [87.8761593366609]
SSCBenchは、広く使用されている自動車データセットのシーンを統合するベンチマークである。我々は、単眼、三眼、クラウド入力を用いて、性能ギャップを評価するモデルをベンチマークする。クロスドメインの一般化テストを簡単にするために、さまざまなデータセットにまたがったセマンティックラベルを統一しています。
論文参考訳（メタデータ） (2023-06-15T09:56:33Z)
Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文参考訳（メタデータ） (2023-04-14T05:30:02Z)
Unseen Object Instance Segmentation with Fully Test-time RGB-D Embeddings Adaptation [14.258456366985444]
最近では、大規模な合成データのRGB-D機能を活用し、実世界のシナリオにモデルを適用するのが一般的である。本稿では,Sim2Realドメイン間の適応プロセスを再強調する。本稿では,BatchNorm層のパラメータに基づいて,完全テスト時間RGB-D埋め込み適応(FTEA)を行うフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-21T02:35:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。