論文の概要: 4D Point Splatting for mmWave Radar Micro-Doppler Differentiable Rendering
- arxiv url: http://arxiv.org/abs/2611.08342v1
- Date: Thu, 05 Nov 2026 17:27:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.599222
- Title: 4D Point Splatting for mmWave Radar Micro-Doppler Differentiable Rendering
- Title（参考訳）: ミリ波レーダマイクロドップラー微分レンダリングのための4次元ポイントスプレイティング
- Abstract要約: 4DPS(4D Pointting, 4DPS)は、物理に基づく微分可能なスプラットで、明確な移動シーンを実際のキャプチャに適合させる。
術式は, レンジアジマスでは0.940, 0.830, レンジドップラーでは0.829, 0.695, マイクロプラーでは0.988, 0.966の相関が認められた。
- 参考スコア（独自算出の注目度）: 14.219042057269945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Millimeter-wave radar resolves the micrometer displacements of a moving body as micro-Doppler, enabling gait, gesture, activity, pose and vital-sign sensing. Each task relies on a downstream model trained on real data, yet radar datasets lag orders of magnitude behind vision and language. Brute-force collection will not close that gap, and existing synthesis methods (forward-only simulators, learned generators and static-scene inverse renderers) cannot fit a real capture of a moving body, leaving a sim2real gap. We present 4D Point Splatting (4DPS), a physics-based differentiable renderer that fits an explicit moving scene to a real capture. Using the synchronized camera to initialize the room and body, we represent the scene as oriented points carrying material, normal and velocity, and splat each point into range and Doppler bins. Our output is the raw complex return a real radar records, so we apply the same signal processing on the rendered data to obtain any representation for training any SOTA downstream model. We fit 235 sequences on HuPR and 100 on RT-Pose, two datasets with different radars. Our reconstructions set the state of the art, with median correlations of 0.940 and 0.830 on range-azimuth, 0.829 and 0.695 on range-Doppler, and 0.988 and 0.966 on micro-Doppler. Our renders also set the state of the art in downstream sim2real gap. On RT-Pose, a pose model trained on them reaches 21.9 cm MPJPE on real data, against 16.7 cm for real training and 127.6 cm for the RF-Genesis baseline, where both the rendered- and real-trained models learn nearly the same features. Our custom CUDA kernels fit a sequence in 5.7 minutes on HuPR and 12.9 on RT-Pose on one H100, making dataset-scale inverse rendering of mmWave radar possible for the first time. This work can enable synthetic data generation for any human-centered downstream task and model, and scene editing for data augmentation.
- Abstract（参考訳）: ミリ波レーダーは、移動体の微小変位をマイクロドップラーとして解決し、歩行、ジェスチャー、活動、ポーズ、バイタルサインセンシングを可能にする。
各タスクは、実際のデータに基づいてトレーニングされた下流モデルに依存します。
ブルートフォースの収集はそのギャップを埋めることはできず、既存の合成方法(前方のみのシミュレータ、学習されたジェネレータ、静的シーンの逆レンダラー)は、動く物体の実際の捕獲に適合せず、シム2リアルなギャップを残している。
4DPS(4D Point Splatting, 4DPS)は、物理ベースの微分可能なレンダラーで、明示的な移動シーンをリアルなキャプチャに適合させる。
シンクロナイズドカメラを用いて部屋と体を初期化することにより、シーンを素材、正常および速度を搬送する配向点として表現し、各ポイントを範囲とドップラービンに分割する。
我々の出力は実レーダレコードを生合成したものなので、レンダリングデータに同じ信号処理を適用して、任意のSOTA下流モデルをトレーニングするための表現を得る。
235のシーケンスをHuPRに、100のシーケンスをRT-Poseに適合させます。
再建では,レンジ・アジマスでは0.940,0.830,レンジ・ドップラーでは0.829,0.695,マイクロ・ドップラーでは0.988,0.966の正相関が得られた。
私たちのレンダリングは、下流のsim2realのギャップを最先端に設定します。
RT-Poseでは、訓練されたポーズモデルは実データで21.9cm MPJPE、実データで16.7cm、RF-Genesisベースラインで127.6cmに達する。
我々のカスタムCUDAカーネルは、HuPRで5.7分、RT-Poseで12.9分、H100で1つのシーケンスに収まる。
この作業は、人間中心の下流タスクとモデルのための合成データ生成と、データ拡張のためのシーン編集を可能にする。
関連論文リスト
- mmIR: Frequency-Space Inverse Rendering for 3D Millimeter-Wave Radar ADC Synthesis [18.777328493392762]
我々は,高分解能な3次元レーダデータを合成するために,高密度仮想開口からの実撮と再レンダリングを行う物理モデルに適合する,オープンソースの微分可能周波数変調型連続波レーダmmIRを提案する。
レーダー分解能は幾何を直接復元するには大きすぎるため、mmIRはLiDARから派生したメッシュを幾何学的な足場としてLiDAR支援逆レンダリングを行う。
7つの屋外および6つの屋内ColoRadarシーンにおいて、mmIRは、Sionna-RTの0.307に対して、レンジアジマスマップのパーソン相関平均0.914を達成する。
論文 参考訳（メタデータ） (2026-08-28T22:21:47Z) - Robostral Navigate [138.74472687550374]
Robostral Navigateは、大規模なナビゲーションシステムのための視覚言語モデルである。
モノラルなRGB画像のストリームのみを消費し、現在のカメラビューの次のターゲット位置を指して、ウェイポイントを予測する。
我々は、実世界のデータ収集への依存を減らすため、350kのシミュレートされたシーンに240万のトラジェクトリを生成します。
論文 参考訳（メタデータ） (2026-07-22T23:13:05Z) - OctoSense: Self-Supervised Learning for Multimodal Robot Perception [50.20346079739425]
ステレオカメラとイベントカメラ、LiDAR、サーマルカメラ、慣性測定ユニット、プロプリセプション(車からのCANバスデータ、四足歩行ロボットの関節角度)を備えたオープンソースのセンサプラットフォームであるOctoSenseについて述べる。
匿名のOctoSenseデータセットには、59時間の時間同期駆動データが含まれている。
このような実世界のデータを用いて,センサの表現,周波数,レイテンシ,ノイズの異なるマルチモーダル自己教師型学習を実演する。
論文 参考訳（メタデータ） (2026-06-25T17:30:49Z) - RadarTwin: Scene-Specific mmWave Radar Simulation and Learning for Mobile Indoor Perception [2.0255467447384015]
RadarTwinは、実際のデータ収集の前にデプロイメント固有のレーダートレーニングデータを生成するためのフレームワークである。
シミュレーションと実レーダは同じ物体識別形状と材料特性を共有していることを示す。
シミュレーションだけで訓練された表現は、実際のレーダーラベルのない2.5倍の確率で実際の物体を認識し、いくつかのラベル付き例では、これを12方向の認識タスクで95.3%に引き上げている。
論文 参考訳（メタデータ） (2026-06-24T05:50:26Z) - Sim2Radar: Toward Bridging the Radar Sim-to-Real Gap with VLM-Guided Scene Reconstruction [2.3510064024442374]
Sim2Radarは、単一ビューのRGBイメージから直接レーダーデータを合成するエンドツーエンドのフレームワークである。
Sim2Radarは、単眼深度推定、セグメンテーション、視覚言語推論を組み合わせることで、素材を意識した3Dシーンを再構築する。
Sim2Radarは、現実世界の屋内シーンで評価され、トランスファーラーニングを通じて下流の3Dレーダー知覚を改善する。
論文 参考訳（メタデータ） (2026-02-10T10:56:47Z) - RadarGen: Automotive Radar Point Cloud Generation from Cameras [64.69976771710057]
マルチビューカメラ画像からリアルな自動車用レーダー点雲を合成するための拡散モデルRadarGenを提案する。
RadarGenは、鳥の目視でレーダー計測を表現することで、レーダ領域への効率的な画像遅延拡散を適応する。
本稿では,RadarGenが特徴的レーダ計測分布を捕捉し,実データに基づいて学習した知覚モデルとのギャップを小さくすることを示す。
論文 参考訳（メタデータ） (2025-12-19T18:57:33Z) - DRO: Doppler-Aware Direct Radar Odometry [11.042292216861762]
移動ロボットアプリケーションのためのレーダーによるセンシングのルネッサンスが進行中である。
スピン周波数変調連続波レーダのための新しいSE(2)オドメトリー手法を提案する。
提案手法は,公開データセットから250km以上のオンロードデータに対して検証されている。
論文 参考訳（メタデータ） (2025-04-29T01:20:30Z) - TacoDepth: Towards Efficient Radar-Camera Depth Estimation with One-stage Fusion [54.46664104437454]
一段核融合を用いた効率的かつ正確なレーダ・カメラ深度推定モデルであるTacoDepthを提案する。
具体的には、グラフベースのRadar構造抽出器とピラミッドベースのRadar融合モジュールを設計する。
従来の最先端のアプローチと比較して、TacoDepthは深さ精度と処理速度を12.8%、91.8%改善している。
論文 参考訳（メタデータ） (2025-04-16T05:25:04Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - The LuViRA Dataset: Synchronized Vision, Radio, and Audio Sensors for Indoor Localization [41.58739817444644]
データセットには、カラー画像、対応する深度マップ、慣性測定ユニット(IMU)読み取り、5Gの大規模マルチインプットとMIMO(Multiple-output)テストベッドとユーザ機器のチャネル応答が含まれる。
これらのセンサーを同期させて、すべてのデータが同時に記録されるようにします。
このデータセットの主な目的は、ローカライゼーションタスクに最もよく使用されるセンサーとのセンサー融合の研究を可能にすることである。
論文 参考訳（メタデータ） (2023-02-10T15:12:40Z) - Hand gesture recognition using 802.11ad mmWave sensor in the mobile
device [2.5476515662939563]
スマートフォンにおける802.11ad 60GHz (mmWave) 技術を用いたAI支援手振り認識の実現可能性について検討する。
我々は、時間分割デュプレックス(TDD)によってレーダーセンシングと通信波形が共存できるプロトタイプシステムを構築した。
センシングデータを収集し、100ミリ秒以内にジェスチャーを予測する。
論文 参考訳（メタデータ） (2022-11-14T03:36:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。