論文の概要: MITO: Enabling Non-Line-of-Sight Perception using Millimeter-waves through Real-World Datasets and Simulation Tools
- arxiv url: http://arxiv.org/abs/2502.10259v2
- Date: Mon, 10 Mar 2025 17:38:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 18:53:55.513148
- Title: MITO: Enabling Non-Line-of-Sight Perception using Millimeter-waves through Real-World Datasets and Simulation Tools
- Title（参考訳）: MITO:実世界のデータセットとシミュレーションツールによるミリ波を用いた非視線知覚の実現
- Authors: Laura Dodds, Tara Boroushaki, Cusuh Ham, Fadel Adib,
- Abstract要約: MITOは、多種多様な日常オブジェクトの最初のミリ波(mmWave)データセットである。
我々は、RGB-D画像、セグメンテーションマスク、生のmmWave信号だけでなく、550個の高分解能mmWave画像をライン・オブ・ザ・ライト・オブ・ザ・ライト(NLOS)で生成する。
- 参考スコア（独自算出の注目度）: 4.794643874201285
- License:
- Abstract: The ability to observe the world is fundamental to reasoning and making informed decisions on how to interact with the environment. However, optical perception can often be disrupted due to common occurrences, such as occlusions, which can pose challenges to existing vision systems. We present MITO, the first millimeter-wave (mmWave) dataset of diverse, everyday objects, collected using a UR5 robotic arm with two mmWave radars operating at different frequencies and an RGB-D camera. Unlike visible light, mmWave signals can penetrate common occlusions (e.g., cardboard boxes, fabric, plastic) but each mmWave frame has much lower resolution than typical cameras. To capture higher-resolution mmWave images, we leverage the robot's mobility and fuse frames over the synthesized aperture. MITO captures over 24 million mmWave frames and uses them to generate 550 high-resolution mmWave (synthetic aperture) images in line-of-sight and non-light-of-sight (NLOS), as well as RGB-D images, segmentation masks, and raw mmWave signals, taken from 76 different objects. We develop an open-source simulation tool that can be used to generate synthetic mmWave images for any 3D triangle mesh. Finally, we demonstrate the utility of our dataset and simulator for enabling broader NLOS perception by developing benchmarks for NLOS segmentation and classification.
- Abstract（参考訳）: 世界を観察する能力は、環境とどのように相互作用するかについての推論と情報的決定に不可欠である。
しかし、光学的知覚は、既存の視覚システムに課題をもたらすオクルージョンのような一般的な現象のために、しばしば破壊される。
我々は、異なる周波数で動作する2つのmmWaveレーダーとRGB-Dカメラを備えたUR5ロボットアームを用いて、多種多様な日常オブジェクトの最初のミリ波データセットであるMITOを提示する。
可視光とは異なり、mmWave信号は共通の閉塞(例えば、段ボール箱、布、プラスチック)を透過することができるが、それぞれのmmWaveフレームは通常のカメラよりもはるかに解像度が低い。
高解像度のmmWave画像をキャプチャするために、合成開口部上でロボットのモビリティとヒューズフレームを利用する。
MITOは2400万mmWaveフレームを撮影し、76の異なる物体から撮影されたRGB-D画像、セグメンテーションマスク、生のmmWave信号だけでなく、550個の高解像度mmWave(合成開口)画像を生成する。
我々は,任意の3次元三角形メッシュに対して合成mmWave画像を生成するために,オープンソースのシミュレーションツールを開発した。
最後に,NLOSセグメンテーションと分類のためのベンチマークを開発することにより,より広範なNLOS知覚を実現するためのデータセットとシミュレータの有用性を実証する。
関連論文リスト
- Towards Weather-Robust 3D Human Body Reconstruction: Millimeter-Wave Radar-Based Dataset, Benchmark, and Multi-Modal Fusion [13.082760040398147]
RGB画像から3Dの人体を復元すると、天気は良いが、悪天候では劇的に劣化する。
mmWaveレーダーは、悪天候下で3Dの関節とメッシュを再構築するために使われてきた。
各種気象条件下で3次元人体を堅牢に再構築する最初のmmWave-RGB融合ソリューションであるImmFusionを設計する。
論文 参考訳（メタデータ） (2024-09-07T15:06:30Z) - VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - Differentiable Radio Frequency Ray Tracing for Millimeter-Wave Sensing [29.352303349003165]
我々はmmWaveベースの3D再構成のための微分可能なフレームワークDiffSBRを提案する。
DiffSBRは、仮想3Dモデルからレーダーポイント雲をシミュレートするために、微分可能なレイトレーシングエンジンを組み込んでいる。
各種レーダーハードウェアを用いた実験は、ディフSBRの微細な3D再構成能力を検証する。
論文 参考訳（メタデータ） (2023-11-22T06:13:39Z) - Diffusion Models for Interferometric Satellite Aperture Radar [73.01013149014865]
確率拡散モデル (Probabilistic Diffusion Models, PDMs) は、最近、非常に有望な生成モデルのクラスとして登場した。
ここでは、PDMを活用して、レーダーベースの衛星画像データセットを複数生成する。
PDMは複雑で現実的な構造を持つ画像を生成することに成功したが、サンプリング時間は依然として問題である。
論文 参考訳（メタデータ） (2023-08-31T16:26:17Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - Point Cloud-based Proactive Link Quality Prediction for Millimeter-wave
Communications [2.559190942797394]
本研究は,mmWaveリンク品質予測のためのポイントクラウドベースの手法を提案する。
提案手法は,mmWave受信信号強度とスループットの将来の大減衰を予測できる。
論文 参考訳（メタデータ） (2023-01-02T16:51:40Z) - mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for
Millimeter Wave Radar [10.610455816814985]
ミリ波(mmWave)レーダーは、煙、雨、雪、照明の悪さといった悪環境でも使えるため、人気が高まっている。
以前の研究では、ノイズやスパースなmmWaveレーダ信号から3D骨格やメッシュを再構築する可能性を探っている。
このデータセットは、同期および校正されたmmWaveレーダーポイント雲と、異なるシーンにおけるRGB(D)イメージと、シーン内の人間のためのスケルトン/メシュアノテーションで構成されている。
論文 参考訳（メタデータ） (2022-09-12T08:00:31Z) - Learning 6D Pose Estimation from Synthetic RGBD Images for Robotic
Applications [0.6299766708197883]
提案したパイプラインは、興味のある対象のために大量の写真リアリスティックなRGBD画像を生成することができる。
オブジェクト検出器YOLO-V4-tinyと6次元ポーズ推定アルゴリズムPVN3Dを統合し,リアルタイム2次元ポーズ推定手法を開発した。
結果として得られたネットワークは、LineModデータセットで評価した場合の最先端手法と比較して、競合性能を示す。
論文 参考訳（メタデータ） (2022-08-30T14:17:15Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳（メタデータ） (2022-04-06T17:54:46Z) - Towards Scale Consistent Monocular Visual Odometry by Learning from the
Virtual World [83.36195426897768]
仮想データから絶対スケールを取得するための新しいフレームワークであるVRVOを提案する。
まず、モノクロ実画像とステレオ仮想データの両方を用いて、スケール対応の異種ネットワークをトレーニングする。
結果として生じるスケール一貫性の相違は、直接VOシステムと統合される。
論文 参考訳（メタデータ） (2022-03-11T01:51:54Z) - Stereo Matching by Self-supervision of Multiscopic Vision [65.38359887232025]
カメラ位置の整列で撮影した複数の画像を利用したステレオマッチングのための新しい自己監視フレームワークを提案する。
ネットワークを最適化するために、クロスフォトメトリックロス、不確実性を認識した相互監督損失、および新しい平滑性損失が導入されます。
我々のモデルは、KITTIデータセット上の以前の教師なし手法よりも、より良い不均一性マップを得る。
論文 参考訳（メタデータ） (2021-04-09T02:58:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。