論文の概要: Multimodal Large Language Models for Remote Sensing Image Understanding: Domain-Specific or General-Purpose?
- arxiv url: http://arxiv.org/abs/2607.20284v1
- Date: Wed, 22 Jul 2026 15:30:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.133841
- Title: Multimodal Large Language Models for Remote Sensing Image Understanding: Domain-Specific or General-Purpose?
- Title（参考訳）: リモートセンシング画像理解のためのマルチモーダル大言語モデル:ドメイン特化か汎用か?
- Abstract要約: マルチモーダル大言語モデル(MLLM)は、リモートセンシング画像との自然言語インタラクションを可能にする。
本稿では、リモートセンシング画像シーン理解(RSISU)のためのMLLMの体系的調査と診断評価について述べる。
RS-MLLMと汎用コンピュータビジョンMLLM(CV-MLLM)を比較し,RSISUのタスクとベンチマークを比較した。
- 参考スコア（独自算出の注目度）: 44.07610328166789
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid development of multimodal large language models (MLLMs) has introduced a flexible paradigm for remote sensing image scene understanding (RSISU), enabling natural-language interaction with remote sensing imagery. However, a systematic understanding of the capability boundaries, cross-task generalization, and task-specific limitations of existing remote sensing MLLMs (RS-MLLMs) is still lacking. This paper presents a systematic survey and diagnostic evaluation of MLLMs for RSISU. We review the technical evolution of RS-MLLMs, focusing on model design, multimodal learning, training data, and downstream capabilities. We further compare RS-MLLMs with general-purpose computer vision MLLMs (CV-MLLMs) across diverse RSISU tasks and benchmarks. RS-MLLMs remain competitive in domain-specific settings, particularly remote sensing visual grounding and high-resolution visual question answering. More notably, general-purpose CV-MLLMs can match or even outperform these specialized models on several RSISU tasks without remote sensing-specific fine-tuning. These findings demonstrate the strong transferability of general-purpose CV-MLLMs and show that current RS-MLLMs do not consistently outperform them across diverse RSISU tasks. Current MLLMs also face limitations in spatial and relational reasoning, fine-grained visual understanding, instruction diversity, and generalization across heterogeneous task formats. Based on these findings, we outline future directions toward reliable evaluation, multimodal and high-resolution reasoning, efficient deployment, and tool-augmented remote sensing agents. This survey provides a systematic reference for developing robust, generalizable, and practical MLLMs for RSISU.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)の急速な開発により、リモートセンシング画像シーン理解(RSISU)のためのフレキシブルパラダイムが導入され、リモートセンシング画像との自然言語インタラクションが可能になった。
しかし、既存のリモートセンシングMLLM(RS-MLLM)の能力境界、クロスタスクの一般化、タスク固有の制限に関する体系的な理解はいまだに欠けている。
本稿では,RSISUにおけるMLLMの系統的調査と診断評価について述べる。
本稿では,モデル設計,マルチモーダル学習,トレーニングデータ,下流機能を中心に,RS-MLLMの技術的進化を概観する。
さらに、RS-MLLMと汎用コンピュータビジョンMLLM(CV-MLLM)を様々なRSISUタスクとベンチマークで比較する。
RS-MLLMはドメイン固有の設定、特にリモートセンシングの視覚的接地と高解像度の視覚的質問応答において競争力を維持している。
より注目すべきは、汎用CV-MLLMは、リモートセンシング固有の微調整なしで、複数のROSUタスクでこれらの特殊なモデルに適合または性能を向上することができることである。
これらの結果は,汎用CV-MLLMの強い伝達性を示し,現在のRS-MLLMは多様なRSISUタスクで常に優れていないことを示す。
現在のMLLMは、空間的およびリレーショナルな推論、きめ細かい視覚的理解、命令の多様性、異種タスクフォーマット間の一般化にも制限に直面している。
これらの知見に基づき,信頼性評価,マルチモーダル・高分解能推論,効率的な展開,ツール強化リモートセンシングエージェントの今後の方向性について概説する。
この調査は、RSISUのための堅牢で汎用的で実用的なMLLMを開発するための体系的なリファレンスを提供する。
関連論文リスト
- VLN-MME: Diagnosing MLLMs as Language-guided Visual Navigation agents [12.383467162169703]
ゼロショットエージェントとしてMLLMを探索するための統一的評価フレームワークを提案する。
高度にモジュール化されたアクセシブルな設計で評価を単純化する。
我々は,CoT推論と自己言語によるベースラインエージェントの強化が,予期せぬ性能低下につながることを観察した。
論文 参考訳（メタデータ） (2025-12-31T13:21:21Z) - Co-Training Vision Language Models for Remote Sensing Multi-task Learning [68.15604397741753]
視覚言語モデル(VLM)は、RS画像理解、グラウンド化、超高解像度(UHR)画像推論において有望な結果を得た。
本稿では,RSMTLのための簡易かつ柔軟なVLMベースラインであるRSCoVLMを提案する。
本稿では、RS画像に固有の多様な画像スケールに対処する、統一された動的解像度戦略を提案する。
論文 参考訳（メタデータ） (2025-11-26T10:55:07Z) - A Comprehensive Study on Visual Token Redundancy for Discrete Diffusion-based Multimodal Large Language Models [85.30893355216486]
我々は,異なるdMLLMアーキテクチャとタスクを用いて,視覚的トークン冗長性がどのように進化するかを検討する。
本研究により, 視覚的冗長性は, 長時間のタスクを処理しながら, オフスクラッチdMLLMでのみ現れることが明らかとなった。
層スキッピングはAR-to-diffusion dMLLMの加速に有効であるのに対し、プログレッシブプルーニングやレイトステッププルーニングはストクラッチdMLLMよりも効果的である。
論文 参考訳（メタデータ） (2025-11-19T04:13:36Z) - A Vision Centric Remote Sensing Benchmark [21.48675282619887]
リモートセンシングタスクにおけるCLIPに基づくMLLMの限界について検討した。
リモートセンシングマルチモーダル視覚パターン(RSMMVP)ベンチマークを導入する。
CLIP-blindペアを識別することで、RSタスクのMLLMを評価するように設計されている。
我々は最先端MLLMの性能を解析し、RS特化表現学習における重要な制限を明らかにした。
論文 参考訳（メタデータ） (2025-03-20T03:03:46Z) - Grounded Chain-of-Thought for Multimodal Large Language Models [66.04061083611863]
我々は,GCoT(Gunded Chain-of-Thought)と呼ばれるマルチモーダル大規模言語モデル(MLLM)の新しい学習タスクを提案する。
GCoTは、MLLMが関連する視覚的手がかりを段階的に認識し、グラウンド化するのを支援し、グラウンド化座標による正しい解を直感的に予測する。
この作業を容易にするために,5,033画像に対して24,022 GCoT例からなるマルチモーダルグラウンドド・チェーン・オブ・ソート(MM-GCoT)と呼ばれるデータセットを慎重に設計し,構築する。
論文 参考訳（メタデータ） (2025-03-17T04:07:47Z) - Keeping Yourself is Important in Downstream Tuning Multimodal Large Language Model [63.14883657299359]
MLLM(Multi-modal Large Language Models)は、視覚的および言語的推論を統合して、画像キャプションや視覚的質問応答といった複雑なタスクに対処する。
ダウンストリームタスクのためのMLLMのチューニングには,2つの重要な課題がある。タスク-Expert – 事前トレーニングとターゲットデータセット間の分散シフトによってターゲットのパフォーマンスが制限される。
論文 参考訳（メタデータ） (2025-03-06T15:29:13Z) - AgentPS: Agentic Process Supervision for Content Moderation with Multimodal LLMs [9.35901507816989]
本稿では,Agentic Process Supervisionを大規模言語モデルに統合するフレームワークであるAgentPSを紹介する。
我々は、AgentPSが、公開ベンチマークとプロプライエタリデータセットのベースラインMLLMよりも大幅に改善されていることを示す。
これらの結果は、大規模産業アプリケーションにおける複雑なマルチモーダル分類のためのスケーラブルで効果的なソリューションとして、AgentPSを確立している。
論文 参考訳（メタデータ） (2024-12-15T04:58:00Z) - A Comprehensive Review of Multimodal Large Language Models: Performance and Challenges Across Different Tasks [74.52259252807191]
MLLM(Multimodal Large Language Models)は、単一のモダリティシステムの能力を超えた現実世界のアプリケーションの複雑さに対処する。
本稿では,自然言語,視覚,音声などのマルチモーダルタスクにおけるMLLMの応用を体系的に整理する。
論文 参考訳（メタデータ） (2024-08-02T15:14:53Z) - Dense Connector for MLLMs [89.50595155217108]
Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。
この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。
画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
論文 参考訳（メタデータ） (2024-05-22T16:25:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。