論文の概要: Real-Time Radar Semantic and Panoptic Scene Understanding
- arxiv url: http://arxiv.org/abs/2610.26816v1
- Date: Mon, 19 Oct 2026 17:51:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:45:24.154479
- Title: Real-Time Radar Semantic and Panoptic Scene Understanding
- Title（参考訳）: リアルタイムレーダセマンティック・パン光学シーン理解
- Abstract要約: 複雑な信号の返却、時間分解能の制限、注釈付きデータセットの不足など、リアルタイムレーダシーンの理解は難しい。
本稿では,FMCWレーダのパノプティックセグメンテーションをストリーミングするための新しいフレームワークStreamRPSを紹介する。
我々のエンコーダ・デコーダストリーミングアーキテクチャは、レーダ固有の階層型トランスフォーマーエンコーダと、セマンティックまたはパノプティクス予測のためのタスク固有のデコーダから構成される。
- 参考スコア（独自算出の注目度）: 24.881449016043195
- License:
- Abstract: Robust scene understanding under varying environmental conditions is essential for safe autonomous driving. While cameras and LiDAR degrade in adverse weather and poor lighting, Frequency-Modulated Continuous-Wave (FMCW) spinning radar provides dependable 360° perception at extended ranges with minimal compute cost. However, real-time FMCW radar scene understanding is challenging due to complex signal returns, limited temporal resolution, and scarce annotated datasets. We introduce StreamRPS, a novel framework for streaming FMCW radar panoptic segmentation, comprising an automated label-generation pipeline via LiDAR scene completion and a real-time streaming network for semantic and panoptic segmentation. Our encoder-decoder streaming architecture comprises a radar-specific hierarchical Transformer encoder and task-specific decoders for semantic or panoptic prediction. Our encoder introduces a stem to capture range-dependent signatures, anisotropic patch embeddings to preserve angular resolution, and axial polar attention to separately model the periodic azimuth and bounded range axes. We further introduce azimuth roll rotation augmentation to simulate ego-vehicle rotation during training. Comprehensive experiments on the SAX and BOREAS datasets validate both our auto-labeling methodology and streaming segmentation network against established baselines. We outperform the strongest baseline by at least 1.4pp while processing sectors at over 400 FPS in a 4-sector streaming setting. We additionally provide manual annotations for 100 SAX radar scans, enabling independent evaluation of the entire framework.
- Abstract（参考訳）: 環境条件の異なる環境条件下でのロバストなシーン理解は、安全な自動運転に不可欠である。
カメラとLiDARは悪天候や照明の悪さで劣化するが、周波数変調連続波(FMCW)回転レーダーは、計算コストを最小限に抑えながら、広帯域での360度認識を提供する。
しかし、複雑な信号の返却、時間分解能の制限、注釈付きデータセットの不足により、リアルタイムFMCWレーダシーンの理解は困難である。
本稿では,FMCWレーダのパン光学セグメンテーションをストリーミングする新しいフレームワークであるStreamRPSを紹介し,LiDARシーン補完によるラベル自動生成パイプラインと,セマンティックおよびパン光学セグメンテーションのためのリアルタイムストリーミングネットワークとを構成した。
我々のエンコーダ・デコーダストリーミングアーキテクチャは、レーダ固有の階層型トランスフォーマーエンコーダと、セマンティックまたはパノプティクス予測のためのタスク固有のデコーダから構成される。
エンコーダでは,角度依存性のシグネチャを捕捉するための茎,角分解能を維持するための異方性パッチ埋め込み,周期方位と有界範囲軸を別々にモデル化するための軸極性アテンションを導入している。
さらに,トレーニング中にエゴ車両の回転をシミュレートするために,アジマスロールの回転増強を導入する。
SAXとBOREASデータセットに関する総合的な実験は、我々の自動ラベル付け手法とストリーミングセグメンテーションネットワークの両方を、確立されたベースラインに対して検証する。
4セクタのストリーミング環境では、処理セクタが400FPS以上である間、我々は少なくとも1.4pp以上の最強のベースラインを上回ります。
また、100個のSAXレーダスキャンのための手動アノテーションも提供し、フレームワーク全体の独立的な評価を可能にした。
関連論文リスト
- LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design [56.76240343283953]
本稿では,大規模言語モデル中心のセマンティック・レイヤ・チャネル・アウェア・インテグレート・パーセプション・フレームワークを提案する。
ローカルな視覚ストリームと、知覚盲点をカバーするために使用される品質の変化した外部レーダーストリームを融合させる。
nuScenesとVIRATの実験は、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2026-07-02T06:44:02Z) - RadarGen: Automotive Radar Point Cloud Generation from Cameras [64.69976771710057]
マルチビューカメラ画像からリアルな自動車用レーダー点雲を合成するための拡散モデルRadarGenを提案する。
RadarGenは、鳥の目視でレーダー計測を表現することで、レーダ領域への効率的な画像遅延拡散を適応する。
本稿では,RadarGenが特徴的レーダ計測分布を捕捉し,実データに基づいて学習した知覚モデルとのギャップを小さくすることを示す。
論文 参考訳（メタデータ） (2025-12-19T18:57:33Z) - SparseRadNet: Sparse Perception Neural Network on Subsampled Radar Data [5.344444942640663]
レーダー生データは、しばしば過剰なノイズを含むが、レーダー点雲は限られた情報しか保持しない。
本稿では,適応的なサブサンプリング手法と,空間パターンを利用したネットワークアーキテクチャを提案する。
RADIalデータセットの実験により,SparseRadNetはオブジェクト検出における最先端(SOTA)性能を超え,自由空間セグメンテーションにおけるSOTA精度に近づいた。
論文 参考訳（メタデータ） (2024-06-15T11:26:10Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-05-07T20:44:48Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳（メタデータ） (2020-10-02T00:13:00Z) - RSS-Net: Weakly-Supervised Multi-Class Semantic Segmentation with FMCW
Radar [26.56755178602111]
我々は、このタスクに使用される従来のセンサーよりも、より長い範囲で動作し、悪天候や照明条件に対してかなり堅牢なレーダーを提唱する。
RGBカメラやLiDARセンサーとレーダースキャンを関連付け,これまでに収集された最大の都市自治データセットを利用する。
本稿では,マルチチャンネル・レーダ・スキャン・インプットを用いて,短命でダイナミックなシーン・オブジェクトを扱うネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-02T11:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。