論文の概要: Can Language Models Understand mmWave Data? Benchmarking Large Language Models for mmWave Radar-Based Human Understanding
- arxiv url: http://arxiv.org/abs/2608.14179v1
- Date: Fri, 14 Aug 2026 10:49:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.362905
- Title: Can Language Models Understand mmWave Data? Benchmarking Large Language Models for mmWave Radar-Based Human Understanding
- Title（参考訳）: 言語モデルはmmWaveデータを理解することができるか?mmWaveレーダに基づく人間理解のための大規模言語モデルのベンチマーク
- Abstract要約: 大規模言語モデル(LLM)は、顕著な推論と生成能力を示している。
言語条件付きmmWave人間の知覚のための最初のベンチマークであるmmWave-QAを提案する。
- 参考スコア（独自算出の注目度）: 10.030428824910034
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown remarkable reasoning and generative capabilities, motivating their use as universal reasoning engines for perception. While modern approaches such as vision-language models (VLMs) have attempted to incorporate reasoning capabilities into visual sensing, the integration of LLMs with the millimeter-wave (mmWave) modality-despite its unique advantages under low light and occlusion-remains largely unexplored. The principal bottlenecks stem from the scarcity of radar language pairs, severe cross-dataset heterogeneity, and the absence of a foundational mmWave encoder. We address this gap through a minimal textualization interface that serializes each mmWave point cloud into concise natural language, allowing off-the-shelf LLMs to operate in a question answering (QA) setting. Building on this, we present mmWave-QA, the first benchmark for language-conditioned mmWave human perception. mmWave-QA aggregates heterogeneous public mmWave datasets and harmonizes them via calibration-aware preprocessing and global taxonomy alignment, while providing natural language QA. Spanning six scenarios and five QA tasks, the benchmark enables standardized evaluation across diverse mmWave hardware and experimental conditions, establishing a foundation for scalable research on mmWave-LLM integration. We further evaluate and analyze LLMs on our mmWave-QA, highlighting their zero-shot reasoning potential for radar perception, as well as their robustness under visual degradation.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、認識のための普遍的推論エンジンとしての使用を動機付け、顕著な推論と生成能力を示している。
視覚言語モデル(VLM)のような近代的なアプローチは推論機能を視覚センシングに取り入れようとしているが、LLMとミリ波(mmWave)のモダリティの統合は、低光下での独特なアドバンテージとオクルージョン残基がほとんど探索されていないにもかかわらず、明らかにされていない。
主なボトルネックはレーダー言語ペアの不足、重度データセットの不均一性、基礎となるmmWaveエンコーダの欠如である。
このギャップを最小限のテキスト化インタフェースで解決し,各 mmWave の点群を簡潔な自然言語にシリアライズし,既製の LLM を質問応答(QA)設定で操作できるようにする。
これに基づいて、言語条件付きmmWave人間の知覚のための最初のベンチマークであるmmWave-QAを示す。
mmWave-QAは異種公共のmmWaveデータセットを集約し、キャリブレーション対応の事前処理とグローバルな分類アライメントを通じて調和させ、自然言語QAを提供する。
6つのシナリオと5つのQAタスクにまたがって、ベンチマークは様々なmmWaveハードウェアと実験条件の標準化評価を可能にし、mmWave-LLM統合に関するスケーラブルな研究の基礎を確立した。
我々はさらにmmWave-QA上でのLCMの評価と解析を行い、レーダー知覚におけるゼロショット推論の可能性と、視覚的劣化下での堅牢性を強調した。
関連論文リスト
- WaveformQA: Benchmarking LLM Temporal Reasoning on Digital Waveforms [0.8793721044482612]
大規模言語モデル(LLM)は、コード生成と推論において強力な能力を示している。
WaveformQAは、デジタル波形に対する時間的推論のためのオープンソースのベンチマークである。
論文 参考訳（メタデータ） (2026-07-22T18:10:07Z) - LLM-Empowered Multimodal Fusion Framework for Autonomous Driving: Semantic Enhancement and Channel-Adaptive Design [56.76240343283953]
本稿では,大規模言語モデル中心のセマンティック・レイヤ・チャネル・アウェア・インテグレート・パーセプション・フレームワークを提案する。
ローカルな視覚ストリームと、知覚盲点をカバーするために使用される品質の変化した外部レーダーストリームを融合させる。
nuScenesとVIRATの実験は、我々のアプローチを検証する。
論文 参考訳（メタデータ） (2026-07-02T06:44:02Z) - Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。
2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。
本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-16T19:01:31Z) - From Indoor to Open World: Revealing the Spatial Reasoning Gap in MLLMs [65.04549036809557]
我々は、ステレオカメラ、LiDAR、IMU/GPSセンサーで撮影された歩行者の視線映像から構築したベンチマークを紹介する。
このデータセットは、計量的に正確な3D情報を提供し、空間的推論質問の自動生成を可能にする。
評価の結果、構造化屋内ベンチマークで観測された性能向上は、オープンワールド環境では消滅することが明らかとなった。
論文 参考訳（メタデータ） (2025-12-22T18:58:12Z) - SpeechQualityLLM: LLM-Based Multimodal Assessment of Speech Quality [2.1178416840822027]
音声品質評価は電話、VoIP、ストリーミングシステムの中心であり、大量の劣化したオーディオを大規模に監視し、最適化する必要がある。
本稿では,音声エンコーダを言語モデルに結合し,テンプレートベースの質問応答ペアを用いてNISQAコーパスで学習するマルチモーダル音声品質質問応答システムであるSpeechQualityLLMを紹介する。
本システムでは,数値予測を解析し,標準回帰とランキングの指標を用いて評価するテキスト回答を生成する。
論文 参考訳（メタデータ） (2025-12-09T04:39:50Z) - ALARM: Automated MLLM-Based Anomaly Detection in Complex-EnviRonment Monitoring with Uncertainty Quantification [16.05388703860442]
本稿では,我々のUQ支援MLLMに基づく視覚異常検出フレームワークであるALARMを紹介する。
AlARMは、推論チェーン、自己回帰、MLLMアンサンブルなどの品質保証技術を統合して、堅牢で正確なパフォーマンスを実現している。
実世界のスマートホームベンチマークデータと創傷画像分類データを用いて大規模な実験評価を行い、ALARMの優れた性能と、信頼性の高い意思決定のために異なる領域にまたがる汎用的な適用性を示す。
論文 参考訳（メタデータ） (2025-12-01T19:03:14Z) - SPUR: A Plug-and-Play Framework for Integrating Spatial Audio Understanding and Reasoning into Large Audio-Language Models [62.14165748145729]
本研究では,空間知覚を伴う大規模オーディオスピーカモデルを備えた,軽量なプラグイン・アプローチであるSPURを紹介する。
SPURは、 (i) チャネルを回転認識、リスナー中心の空間特徴にマッピングし、マルチモーダルアダプタを介して対象のLALMに統合する第1次アンビニクス(FOA)エンコーダと、 (ii) SPUR-Setは、オープンソースのFOA記録を制御されたシミュレーションと組み合わせた空間QAデータセットで、相対方向、標高、距離、および監督された空間推論の重複を強調する。
論文 参考訳（メタデータ） (2025-11-10T01:29:26Z) - mmExpert: Integrating Large Language Models for Comprehensive mmWave Data Synthesis and Understanding [30.51586120125617]
mmExpertは革新的なmmWave理解フレームワークです。
特定のアプリケーションシナリオのための合成mWaveレーダデータセットの生成を自動化する。
mmExpertによって合成されたデータは、下流モデルの性能を大幅に向上させることを示した。
論文 参考訳（メタデータ） (2025-09-20T04:01:02Z) - Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。
異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。
我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文 参考訳（メタデータ） (2025-08-20T17:59:51Z) - EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM [103.7537991413311]
地球観測(EO)データ分析は、環境と人間の動態のモニタリングに不可欠である。
最近のMultimodal Large Language Models (MLLM) は、EO理解の可能性を秘めているが、シングルセンサー入力に限定されている。
我々は、シングルセンサーとクロスセンサーの両方の入力を処理する統合視覚言語フレームワークであるEarthMindを提案する。
論文 参考訳（メタデータ） (2025-06-02T13:36:05Z) - HoloLLM: Multisensory Foundation Model for Language-Grounded Human Sensing and Reasoning [14.038083767470019]
スマートホームで活動する身体エージェントは、多様な感覚入力を通じて人間の行動を理解し、自然言語を介してコミュニケーションする必要がある。
本稿では,Multimodal Large Language Model (MLLM) であるHoloLLMを紹介する。
また,HoloLLMは既存のMLLMよりも優れており,言語による人間の知覚精度を最大30%向上することを示した。
論文 参考訳（メタデータ） (2025-05-23T09:06:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。