論文の概要: LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction
- arxiv url: http://arxiv.org/abs/2609.25803v2
- Date: Wed, 23 Sep 2026 17:57:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.674628
- Title: LiFR v2: Completion-Augmented Event Propagation for High-Rate Dense Prediction
- Title(参考訳): LiFR v2: 高密度予測のための補完強化イベントプロパゲーション
- Abstract要約: イベントカメラは、時間的に密度が高いが空間的に疎らな測定を提供する。
直接融合はこの相補性を完全に活用することはできない。
因果予測とストリーミング密度予測のための統一的な伝搬-補完-メモリフレームワークであるLiFR v2を提案する。
- 参考スコア(独自算出の注目度): 27.86186017122387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-rate dense perception in dynamic environments is limited by the low update rate of RGB cameras, as rapid scene changes can occur between frames. Event cameras offer temporally dense but spatially sparse measurements, complementary to spatially dense RGB observations. Direct fusion cannot fully exploit this complementarity, while event-guided propagation fails on newly appearing or disoccluded regions without valid RGB support. We present LiFR v2, a unified propagation-completion-memory framework for causal anytime and streaming dense prediction from an RGB keyframe and events. LiFR v2 introduces an Event-Guided Completion Module (EGCM) to recover task-relevant representations where propagation is unsupported, and a History Retrieval Module (HRM) to reuse completed representations across successive queries. The framework supports semantic segmentation, monocular depth estimation, and multi-task dense prediction, and we further introduce SHF-Emerge to evaluate rapid object emergence and disocclusion. LiFR v2 achieves 74.37% mIoU on DSEC and 56.13% on SHF-Emerge, improving LiFR-Seg by 1.85 percentage points on the latter, while reducing SHF-Emerge depth RMSE from 1.564 m to 1.118 m over the propagation baseline. It also exceeds 100 FPS for both segmentation and depth, demonstrating accurate and efficient high-rate perception beyond RGB frame rates.
- Abstract(参考訳): 動的環境における高密度認識はRGBカメラの低更新率によって制限される。
イベントカメラは、空間的に密度が高いが空間的に疎らな測定を提供し、空間的に密度の高いRGB観測に補完する。
直接融合は、この相補性を完全に活用することはできないが、イベント誘導伝搬は、有効なRGBサポートなしで新たに出現または排除された領域で失敗する。
我々は、RGBキーフレームとイベントから常に因果的かつ高密度な予測をストリーミングするための統一的な伝搬-補完-メモリフレームワークであるLiFR v2を提案する。
LiFR v2では、伝搬がサポートされていないタスク関連表現を復元するイベントガイドコンプリートモジュール(EGCM)と、連続したクエリで完了した表現を再利用するヒストリー検索モジュール(HRM)が導入されている。
本フレームワークは, セマンティックセグメンテーション, 単眼深度推定, マルチタスク密集予測をサポートし, さらに, SHF-Emergeを導入して, 高速物体の出現と排除を評価する。
LiFR v2はDSECで74.37% mIoU、SHF-Emergeで56.13%を獲得し、LiFR-Segを後者で1.85ポイント改善し、SHF-Emerge深さRMSEを1.564mから1.118mに減らした。
また、セグメンテーションと深さの両方で100FPSを超え、RGBフレームレートを超える正確かつ効率的なハイレート認識を示す。
関連論文リスト
- Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。
深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。
Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文 参考訳(メタデータ) (2026-07-10T06:52:09Z) - Active Adversarial Perturbation-driven Associative Memory Retrieval for RGB-Event Visual Object Tracking [58.338848435042536]
RGB-Eventトラッキングは、イベントセンサからRGB外観テクスチャと高密度時間運動キューを融合することにより、ローカライズを改善する。
現実世界のシーンは、従来のマルチモーダル融合を妨げる多様な構造的な信号劣化に悩まされる。
本稿では,RGBイベント追跡に適した階層的摂動・検索フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-24T23:34:06Z) - Rethinking Event-Based Object Dtection through Representation-Level Temporal Aggregation and Model-Level Hypergraph Reasoning [65.08890312027314]
イベントカメラはマイクロ秒レベルの時間分解能、低レイテンシ、高ダイナミックレンジを提供する。
Event Dual Temporal-Relational Aggregation Detector (Ev-DTAD)は、表現レベルの時間エンコーディングとモデルレベルの時間-ハイパーグラフ推論を統合する。
Ev-DTADは、コンパクトな時間的表現と時間的ハイパーグラフの特徴的推論の相補性を検証し、競争精度と効率のトレードオフを実現する。
論文 参考訳(メタデータ) (2026-05-09T09:20:34Z) - Decoupling Amplitude and Phase Attention in Frequency Domain for RGB-Event based Visual Object Tracking [51.31378940976401]
既存のRGB-Eventトラッキングアプローチでは、イベントカメラのユニークな利点を完全に活用できない。
本稿では,周波数領域の早期融合を実現する新しい追跡フレームワークを提案する。
FE108, FELT, COESOTなど, 広く使用されている3つのRGB-Event追跡ベンチマークデータセットの実験により, 提案手法の性能と効率を実証した。
論文 参考訳(メタデータ) (2026-01-03T01:10:17Z) - Learning Flow-Guided Registration for RGB-Event Semantic Segmentation [22.996619370156584]
イベントカメラは、RGBセンサーを補完するマイクロ秒レベルのモーションキューをキャプチャする。
RGB-Eventセグメンテーションを融合から登録に再キャストする。
非対称なモーダル間の対応を適応的にマッチングする新しいフロー誘導双方向フレームワークであるBRENetを提案する。
論文 参考訳(メタデータ) (2025-05-02T19:19:58Z) - Frequency-Adaptive Low-Latency Object Detection Using Events and Frames [23.786369609995013]
オブジェクト検出のためのFusing EventsとRGBイメージは、悪環境におけるEvent Cameraの堅牢性を活用する。
2つの重要なミスマッチ:低遅延イベント textitvs.high-latency RGB frame と時間的にスパースなラベル。
textbfFrequency-textbfAdaptive Low-Latency textbfObject textbfDetector (FAOD)を提案する。
論文 参考訳(メタデータ) (2024-12-05T13:23:06Z) - FEANet: Feature-Enhanced Attention Network for RGB-Thermal Real-time
Semantic Segmentation [19.265576529259647]
RGB-Tセマンティックセマンティックセグメンテーションタスクのための2段階機能拡張アテンションネットワーク(FEANet)を提案する。
具体的には、チャネルビューと空間ビューの両方からマルチレベル特徴を発掘・拡張するための機能拡張注意モジュール(FEAM)を導入する。
提案する FEAM モジュールに特化して,FEANet は空間情報を保存し,融合した RGB-T 画像から高分解能な特徴に注目する。
論文 参考訳(メタデータ) (2021-10-18T02:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。