論文の概要: Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning
- arxiv url: http://arxiv.org/abs/2606.22195v1
- Date: Sat, 20 Jun 2026 19:07:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 22:06:05.551219
- Title: Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning
- Title（参考訳）: ビジョン支援型マルチモーダルラーニングによるOFDMベースのISACにおけるマルチターゲットアソシエーションの解決
- Authors: Meng Hua, Chenghong Bian, Deniz Gunduz,
- Abstract要約: 単一モダリティISACのデータ連想と解決限界を克服するビジョン支援OFDM-ISACフレームワークを提案する。
提案手法は,Blender-Rendered vehicular testbed上で16cmの局所化根平均二乗誤差(RMSE)と10.8ns遅延RMSEを実現する。
- 参考スコア（独自算出の注目度）: 10.44632158114449
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Orthogonal frequency division multiplexing (OFDM)-based integrated sensing and communication (ISAC) systems commonly extract target parameters by peak-searching a delay-Doppler map (DDM) constructed from reflected pilots. In multi-target scenarios, this results in ambiguity: the DDM does not reveal which physical target produced which peak, and two targets within the same delay-Doppler resolution cell cannot be separated. We propose a vision-assisted OFDM-ISAC framework that resolves both limitations by fusing wireless and visual modalities. The transmitter encodes an onboard street-view image with deep joint source-channel coding (DeepJSCC) and transmits it over the same OFDM waveform used for sensing; the receiver reconstructs the image, runs a fine-tuned YOLOv5 detector and fuses the resulting per-target features (bounding-box coordinates and class labels) with the DDM and transmitter-receiver geometry through a learned multi-modal network. To stabilize training of the high dimensional delay and Doppler classifiers, we introduce a Kullback Leibler loss against triangular soft labels centered on the ground-truth bin. On a Blender-rendered vehicular testbed, the proposed framework achieves a 16 cm localization root mean square error (RMSE) and a 10.8 ns delay RMSE. An ablation study confirms that removing the visual modality causes a 60x degradation in localization. These results highlight the potential of vision to overcome the data-association and resolution limits of single-modality ISAC.
- Abstract（参考訳）: 直交周波数分割多重化(OFDM)に基づく統合センシング通信(ISAC)システムは、反射型パイロットから構築された遅延ドップラーマップ(DDM)をピーク探索することによって、ターゲットパラメータを抽出することが一般的である。
マルチターゲットシナリオでは、これは曖昧さをもたらす: DDMは、どの物理的ターゲットがどのピークを生成しているかを明らかにしず、同じ遅延ドップラー分解セル内の2つのターゲットは分離できない。
本稿では,無線と視覚の両モードを融合させることにより,両制約を解消する視覚支援OFDM-ISACフレームワークを提案する。
送信機は、搭載されたストリートビュー画像をディープJSCC(DeepJSCC)で符号化し、センシングに用いるOFDM波形上で送信し、受信機はイメージを再構成し、微調整されたYOLOv5検出器を実行し、結果のターゲットごとの特徴(バウンディングボックス座標およびクラスラベル)をDDMと融合し、マルチモーダルネットワークを介して送信機・受信機幾何学を融合する。
高次元遅延とドップラー分類器の訓練を安定させるために, 接地トラスビンを中心にした三角形のソフトラベルに対して, クルバック・ライブラ・ロスを導入する。
Blender-Rendered vehicular testbedでは、16cmの局所化根平均二乗誤差(RMSE)と10.8 nsの遅延RMSEを実現している。
アブレーション研究では、視覚的モダリティの除去が、局在の60倍の劣化を引き起こすことが確認されている。
これらの結果は、単一モダリティISACのデータ連想と解決限界を克服するビジョンの可能性を強調している。
関連論文リスト
- Echo-DM: Ultrasound Marker Removal via Conditional Latent Diffusion and Region-Aware Fusion [50.02433280054874]
マーカーは下流の自動分析にショートカットバイアスを導入することができる。
条件付き潜伏拡散と領域認識融合による超音波マーカー除去のためのフレームワークであるEcho-DMを提案する。
大規模な超音波検査データセットであるEcho-PAIRの実験は、優れたマーカー除去と強力な解剖学的忠実さを示す。
論文 参考訳（メタデータ） (2026-06-08T11:56:33Z) - DAP: Doppler-aware Point Network for Heterogeneous mmWave Action Recognition [42.97701141999221]
ミリ波レーダは、プライバシ保護センシングを提供し、ヒューマンアクション認識(HAR)に有用である
既存のmmWaveポイントクラウドデータセットはスケールが限られており、ほとんどが単一ソース設定で収集される。
このような問題に対処するために,Millimeter-HARは,異種マルチソースシナリオのための最大かつ最初のmmWaveポイントクラウドHARデータセットである。
論文 参考訳（メタデータ） (2026-05-10T15:34:53Z) - SPIRIT: Adapting Vision Foundation Models for Unified Single- and Multi-Frame Infrared Small Target Detection [18.86422994684341]
赤外線小目標検出(IRSTD)は監視と早期警戒に不可欠であり、単一フレーム分析とビデオモード追跡の両方に展開する。
本稿では,軽量な物理インフォームドプラグインによってVFMをIRSTDに適応させる,統一的でVFM互換のフレームワークであるSPIRITを提案する。
論文 参考訳（メタデータ） (2026-02-02T09:15:29Z) - UniDiff: Parameter-Efficient Adaptation of Diffusion Models for Land Cover Classification with Multi-Modal Remotely Sensed Imagery and Sparse Annotations [3.588053519843616]
本稿では,1つのイメージネット予測拡散モデルを用いて,対象領域データのみを用いて複数の知覚モダリティに適応するパラメータ効率のフレームワークを提案する。
UniDiffは、FiLMベースのタイムステップ・モダリティ条件付け、パラメータの約5%のパラメータ効率適応、および擬似RGBアンカーを組み合わせることで、事前訓練された表現を保存し、破滅的な忘れを防止する。
論文 参考訳（メタデータ） (2025-11-29T00:57:53Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳（メタデータ） (2025-03-25T15:04:53Z) - Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。
MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。
我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
論文 参考訳（メタデータ） (2024-10-29T03:49:40Z) - Diffusion-Driven Semantic Communication for Generative Models with Bandwidth Constraints [66.63250537475973]
本稿では,帯域制限付き生成モデルのための,高度なVAEベースの圧縮を用いた拡散駆動型セマンティック通信フレームワークを提案する。
実験の結果,ピーク信号対雑音比 (PSNR) などの画素レベルの指標と,LPIPS (Learning Perceptual Image patch similarity) のような意味的指標が大幅に改善された。
論文 参考訳（メタデータ） (2024-07-26T02:34:25Z) - GCD-DDPM: A Generative Change Detection Model Based on
Difference-Feature Guided DDPM [7.922421805234563]
深層学習法は近年,バイテンポラルチェンジ検出(CD)において大きな可能性を秘めている
本研究は,CDマップを直接生成するGCD-DDPMと呼ばれる生成的変化検出モデルを提案する。
4つの高解像度CDデータセットの実験により、提案したGCD-DDPMの優れた性能が確認された。
論文 参考訳（メタデータ） (2023-06-06T05:51:50Z) - Deep Metric Learning for Unsupervised Remote Sensing Change Detection [60.89777029184023]
リモートセンシング変化検出(RS-CD)は、マルチテンポラルリモートセンシング画像(MT-RSI)から関連する変化を検出することを目的とする。
既存のRS-CD法の性能は、大規模な注釈付きデータセットのトレーニングによるものである。
本稿では,これらの問題に対処可能なディープメトリック学習に基づく教師なしCD手法を提案する。
論文 参考訳（メタデータ） (2023-03-16T17:52:45Z) - On Neural Architectures for Deep Learning-based Source Separation of
Co-Channel OFDM Signals [104.11663769306566]
周波数分割多重化(OFDM)信号を含む単一チャネル音源分離問題について検討する。
我々はOFDM構造からの洞察に基づいて、ネットワークパラメータ化に対する重要なドメインインフォームド修正を提案する。
論文 参考訳（メタデータ） (2023-03-11T16:29:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。