論文の概要: HM-Bench: A Comprehensive Benchmark for Multimodal Large Language Models in Hyperspectral Remote Sensing

• arxiv url: http://arxiv.org/abs/2604.08884v1
• Date: Fri, 10 Apr 2026 02:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-13 17:57:53.647645
• Title: HM-Bench: A Comprehensive Benchmark for Multimodal Large Language Models in Hyperspectral Remote Sensing
• Title（参考訳）: HM-Bench:ハイパースペクトルリモートセンシングにおける多モード大言語モデルの総合ベンチマーク
• Authors: Xinyu Zhang, Zurong Mai, Qingmei Li, Zjin Liao, Yibin Wen, Yuhang Chen, Xiaoya Fan, Chan Tsz Ho, Bi Tianyuan, Haoyuan Liang, Ruifeng Su, Zihao Qian, Juepeng Zheng, Jianxi Huang, Yutong Lu, Haohuan Fu,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、自然画像の理解において大きな進歩を遂げてきたが、ハイパースペクトル画像(HSI)よりも知覚し、推論する能力はいまだ研究されていない。 HSI理解においてMLLMを評価するために設計された最初のベンチマークであるHyperspectral Multimodal Benchmark (HM-Bench)を紹介する。 基本認識からスペクトル推論まで,13のタスクカテゴリにまたがる19,337の質問応答対の大規模データセットをキュレートする。
• 参考スコア（独自算出の注目度）: 22.804236694410367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While multimodal large language models (MLLMs) have made significant strides in natural image understanding, their ability to perceive and reason over hyperspectral image (HSI) remains underexplored, which is a vital modality in remote sensing. The high dimensionality and intricate spectral-spatial properties of HSI pose unique challenges for models primarily trained on RGB data.To address this gap, we introduce Hyperspectral Multimodal Benchmark (HM-Bench), the first benchmark designed specifically to evaluate MLLMs in HSI understanding. We curate a large-scale dataset of 19,337 question-answer pairs across 13 task categories, ranging from basic perception to spectral reasoning. Given that existing MLLMs are not equipped to process raw hyperspectral cubes natively, we propose a dual-modality evaluation framework that transforms HSI data into two complementary representations: PCA-based composite images and structured textual reports. This approach facilitates a systematic comparison of different representation for model performance. Extensive evaluations on 18 representative MLLMs reveal significant difficulties in handling complex spatial-spectral reasoning tasks. Furthermore, our results demonstrate that visual inputs generally outperform textual inputs, highlighting the importance of grounding in spectral-spatial evidence for effective HSI understanding. Dataset and appendix can be accessed at https://github.com/HuoRiLi-Yu/HM-Bench.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、自然画像理解において大きな進歩を遂げているが、ハイパースペクトル画像(HSI)に対する知覚と推論能力は、リモートセンシングにおいて重要なモダリティである。 HSIの高次元および複雑なスペクトル空間特性は、主にRGBデータに基づいて訓練されたモデルに固有の課題をもたらし、このギャップを解決するために、HSI理解においてMLLMを評価するために設計された最初のベンチマークであるHyperspectral Multimodal Benchmark (HM-Bench)を導入する。 基本認識からスペクトル推論まで,13のタスクカテゴリにまたがる19,337の質問応答対の大規模データセットをキュレートする。 既存のMLLMが生の超スペクトル立方体をネイティブに処理することができないことを考慮し、HSIデータをPCAベースの合成画像と構造化テキストレポートの2つの相補的な表現に変換する2重モード評価フレームワークを提案する。 このアプローチは、モデル性能の異なる表現の体系的な比較を容易にする。 18種類のMLLMの大規模評価は、複雑な空間スペクトル推論タスクの処理に重大な困難を呈する。 さらに, 視覚入力はテキスト入力よりも優れており, HSIの効果的な理解のためのスペクトル空間的証拠の基盤化の重要性を強調した。 Datasetとappixはhttps://github.com/HuoRiLi-Yu/HM-Benchでアクセスできる。

関連論文リスト

• PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
  サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。 約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。 本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
  論文  参考訳（メタデータ） (2025-12-22T12:49:12Z)
• RingMo-Agent: A Unified Remote Sensing Foundation Model for Multi-Platform and Multi-Modal Reasoning [15.670921552151775]
  RingMo-Agentはマルチモーダルおよびマルチプラットフォームデータを扱うように設計されている。 RS-VL3Mと呼ばれる大規模な視覚言語データセットでサポートされている。 これは視覚的理解と高度な分析タスクの両方に有効である。
  論文  参考訳（メタデータ） (2025-07-28T12:39:33Z)
• EarthMind: Leveraging Cross-Sensor Data for Advanced Earth Observation Interpretation with a Unified Multimodal LLM [103.7537991413311]
  地球観測(EO)データ分析は、環境と人間の動態のモニタリングに不可欠である。 最近のMultimodal Large Language Models (MLLM) は、EO理解の可能性を秘めているが、シングルセンサー入力に限定されている。 我々は、シングルセンサーとクロスセンサーの両方の入力を処理する統合視覚言語フレームワークであるEarthMindを提案する。
  論文  参考訳（メタデータ） (2025-06-02T13:36:05Z)
• SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
  マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。 既存のMLLMは3次元空間認識と理解能力を持っているか?
  論文  参考訳（メタデータ） (2025-05-22T17:59:03Z)
• Grounded Chain-of-Thought for Multimodal Large Language Models [66.04061083611863]
  我々は,GCoT(Gunded Chain-of-Thought)と呼ばれるマルチモーダル大規模言語モデル(MLLM)の新しい学習タスクを提案する。 GCoTは、MLLMが関連する視覚的手がかりを段階的に認識し、グラウンド化するのを支援し、グラウンド化座標による正しい解を直感的に予測する。 この作業を容易にするために,5,033画像に対して24,022 GCoT例からなるマルチモーダルグラウンドド・チェーン・オブ・ソート(MM-GCoT)と呼ばれるデータセットを慎重に設計し,構築する。
  論文  参考訳（メタデータ） (2025-03-17T04:07:47Z)
• VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
  MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。 本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。 我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
  論文  参考訳（メタデータ） (2025-02-25T23:36:19Z)
• HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model [88.13261547704444]
  Hyper SIGMAは、タスクやシーン間でHSI解釈を統合するビジョントランスフォーマーベースの基礎モデルである。 さらに,約450Kのハイパースペクトル画像を含む,事前学習のための大規模ハイパースペクトルデータセットHyperGlobal-450Kを構築した。
  論文  参考訳（メタデータ） (2024-06-17T13:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。