論文の概要: MultiFly: A Real-World Multimodal Aerial Dataset with Annotation-Efficient Label Transfer and Cross-Modal Semantic Consistency
- arxiv url: http://arxiv.org/abs/2610.10359v2
- Date: Wed, 14 Oct 2026 15:31:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:14.991532
- Title: MultiFly: A Real-World Multimodal Aerial Dataset with Annotation-Efficient Label Transfer and Cross-Modal Semantic Consistency
- Title(参考訳): MultiFly: アノテーション効率の良いラベル転送とクロスプラットフォームセマンティック一貫性を備えた実世界のマルチモーダル航空データセット
- Abstract要約: MultiFlyは実世界の低高度UAVデータセットで、RGB、熱、LiDAR、レーダーモダリティにまたがるセマンティックな知覚を提供する。
我々は17,157枚のRGB画像、17,272枚の熱画像、840万個のLiDAR点、3.4M個のレーダー点のセマンティックラベルを生成する。
我々は4つのモードすべてに対してセマンティックセグメンテーションのベンチマークを作成し、高密度LiDARとスパースレーダデータに対して異なるアーキテクチャの振る舞いを示す。
- 参考スコア(独自算出の注目度): 34.2381109467536
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce MultiFly, a real-world, low-altitude UAV dataset for semantic perception across RGB, thermal, LiDAR, and radar modalities. MultiFly provides 17,272 synchronized samples from four suburban scenes with frame-wise annotations for 15 semantic classes, together with calibration and GNSS-RTK/IMU measurements. To avoid costly and inconsistent modality-specific annotation, we propagate labels from only 115 manually annotated RGB images through shared geometric representations to all four modalities. This approach generates semantic labels for 17,157 additional RGB images, 17,272 thermal images, 840M LiDAR points, and 3.4M radar points. Transferred annotations achieve 89.93% average agreement with held-out manual annotations, and 90.94% average semantic consistency across all six modality pairs. We further establish semantic segmentation benchmarks for all four modalities, revealing distinct architectural behavior for dense LiDAR and sparse radar data. Taken together, MultiFly provides a scalable foundation for multimodal aerial perception and, to the best of our knowledge, the first public real-world low-altitude aerial benchmark that combines consistent frame-wise semantic annotations for RGB, thermal, LiDAR, and radar. Data at https://github.com/markus-42/multifly.
- Abstract(参考訳): 実世界の低高度UAVデータセットであるMultiFlyを導入する。
MultiFlyは、4つの郊外のシーンから17,272の同期サンプルを提供し、15のセマンティッククラスのためのフレームワイズアノテーションとキャリブレーションとGNSS-RTK/IMU測定を提供する。
高価で一貫性のないモダリティ固有のアノテーションを避けるため、手動で注釈付けしたRGB画像115枚から4つのモダリティすべてに共通な幾何学的表現を通してラベルを伝搬する。
このアプローチは17,157枚のRGB画像、17,272枚の熱画像、840万個のLiDAR点、3.4M個のレーダー点のセマンティックラベルを生成する。
転送アノテーションは、保持された手動アノテーションと89.93%の平均的な合意を達成し、90.94%のセマンティック一貫性を6つのモダリティペアすべてで達成している。
さらに4つのモードすべてに対するセマンティックセグメンテーションのベンチマークを構築し、密集したLiDARとスパースレーダデータに対して異なるアーキテクチャの振る舞いを明らかにする。
MultiFlyは、マルチモーダル空中認識のためのスケーラブルな基盤を提供しており、私たちの知る限り、RGB、熱、LiDAR、レーダーのための一貫したフレームワイドなセマンティックアノテーションを組み合わせた、最初の公開現実世界の低高度航空ベンチマークです。
data at https://github.com/markus-42/multifly.com
関連論文リスト
- Towards UAV Detection in the Real World: A New Multispectral Dataset UAVNet-MS and a New Method [80.50361258830928]
UAVNet-MSは、微小UAV検出のための最初のマルチスペクトルデータセットである。
本稿では、アレイ誘起パララックスと空間-スペクトル融合に対処するデュアルストリームベースラインであるMFDNetを提案する。
この研究は、基礎的なデータセット、強力なベースライン、マルチスペクトルUAV監視研究のためのベンチマークを提供する。
論文 参考訳(メタデータ) (2026-05-20T09:49:04Z) - NERVE: A Neuromorphic Vision and Radar Ensemble for Multi-Sensor Fusion Research [0.8228702942838674]
NERVE(Neuromorphic Vision and Radar Ensemble)は5つのセンサから257分間の同期記録からなるマルチセンサデータセットである。
人間の検出と距離推定のためのDVS+Radarサブセットを構築した。
フィードフォワードとリカレント検出器を用いた実験では、DVSと77GHz Radarの組み合わせが常に検出を改善することが示されている。
論文 参考訳(メタデータ) (2026-05-13T16:35:27Z) - Synthetic FMCW Radar Range Azimuth Maps Augmentation with Generative Diffusion Model [9.764772760421792]
本稿では,現実的な周波数変調連続波レーダレンジアジマスマップを合成するための条件付き生成フレームワークを提案する。
提案手法は,歩行者,車,サイクリストを含む複数の対象カテゴリーのレーダデータを生成するために,生成拡散モデルを利用する。
論文 参考訳(メタデータ) (2026-01-09T10:59:46Z) - SMART-Ship: A Comprehensive Synchronized Multi-modal Aligned Remote Sensing Targets Dataset and Benchmark for Berthed Ships Analysis [12.87083600993665]
このデータセットは1092個のマルチモーダル画像セットで構成され、38,838隻の船をカバーしている。
各画像セットは1週間以内に取得され、時間的一貫性を確保するために登録される。
5つの基本的なタスクのベンチマークを定義し、データセット間でメソッドを比較します。
論文 参考訳(メタデータ) (2025-08-04T13:09:58Z) - Multi-Space Alignments Towards Universal LiDAR Segmentation [50.992103482269016]
M3Netはマルチタスク、マルチデータセット、マルチモダリティのLiDARセグメンテーションを実現するための1対1のフレームワークである。
まず、さまざまなシーンから異なるタイプのセンサーによって取得された大規模な運転データセットを組み合わせる。
次に、トレーニング中にデータ、特徴、ラベル空間という3つの空間でアライメントを行います。
論文 参考訳(メタデータ) (2024-05-02T17:59:57Z) - Single-Model and Any-Modality for Video Object Tracking [85.83753760853142]
任意のモダリティに対して単一のパラメータセットの統一トラッカーUn-Trackを導入する。
任意のモダリティを扱うために,低ランク因子化および再構成手法を用いて,それらの共通潜時空間を学習する。
我々のUn-Trackは、+6.6M(93M以上)のパラメータを持つ+2.14(21.50以上)のGFLOPを導入することで、DepthTrackデータセット上で、+8.1絶対Fスコアゲインを達成する。
論文 参考訳(メタデータ) (2023-11-27T14:17:41Z) - CROMA: Remote Sensing Representations with Contrastive Radar-Optical
Masked Autoencoders [2.7624021966289605]
リモートセンシングは、広範にラベル付き、空間的に整列したマルチモーダルデータを提供する。
コントラストと再構成を組み合わせたフレームワークであるCROMAを,リッチな一様・多様表現の学習のために提案する。
論文 参考訳(メタデータ) (2023-11-01T15:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。