論文の概要: Remote Sensing Large Vision-Language Model: Semantic-augmented Multi-level Alignment and Semantic-aware Expert Modeling

• arxiv url: http://arxiv.org/abs/2506.21863v1
• Date: Fri, 27 Jun 2025 02:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.059399
• Title: Remote Sensing Large Vision-Language Model: Semantic-augmented Multi-level Alignment and Semantic-aware Expert Modeling
• Title（参考訳）: リモートセンシング大視野モデル:セマンティック強化多段階アライメントとセマンティック・アウェア・エキスパートモデリング
• Authors: Sungjune Park, Yeongyun Kim, Se Yeon Kim, Yong Man Ro,
• Abstract要約: LVLM(Large Vision and Language Models)は、自然画像領域における様々な視覚言語タスクに強いパフォーマンスを示す。 リモートセンシング(RS)への応用は、視覚的外観、オブジェクトスケール、セマンティクスに大きな領域差があるため、いまだ探索されていない。 本稿では,RS理解に適した新しいLVLMフレームワークを提案する。セマンティック拡張多レベルアライメントとセマンティック対応エキスパートモデリングである。
• 参考スコア（独自算出の注目度）: 42.46176089721314
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Vision and Language Models (LVLMs) have shown strong performance across various vision-language tasks in natural image domains. However, their application to remote sensing (RS) remains underexplored due to significant domain differences in visual appearances, object scales, and semantics. These discrepancies hider the effective understanding of RS scenes, which contain rich, multi-level semantic information spanning from coarse-to-fine levels. Hence, it limits the direct adaptation of existing LVLMs to RS imagery. To address this gap, we propose a novel LVLM framework tailored for RS understanding, incorporating two core components: Semantic-augmented Multi-level Alignment and Semantic-aware Expert Modeling. First, to align multi-level visual features, we introduce the retrieval-based Semantic Augmentation Module which enriches the visual features with relevant semantics across fine-to-coarse levels (e.g., object- and scene-level information). It is designed to retrieve relevant semantic cues from a RS semantic knowledge database, followed by aggregation of semantic cues with user query and multi-level visual features, resulting in semantically enriched representation across multiple levels. Second, for Semantic-aware Expert Modeling, we design semantic experts, where each expert is responsible for processing semantic representation at different levels separately. This enables hierarchical semantic understanding from coarse to fine levels. Evaluations across multiple RS tasks-including scene classification and VQA, etc.-demonstrate that the proposed framework achieves consistent improvements across multiple semantic levels. This highlights its capability and effectiveness in bridging the gap between general LVLMs and unique demands of RS-specific vision-language understanding.
• Abstract（参考訳）: LVLM(Large Vision and Language Models)は、自然画像領域における様々な視覚言語タスクに強いパフォーマンスを示す。 しかしながら、リモートセンシング(RS)への応用は、視覚的外観、オブジェクトスケール、セマンティクスに大きな領域差があるため、いまだ探索されていない。 これらの相違は、粗いレベルから細かなレベルにまたがるリッチで多レベルの意味情報を含むRSシーンの効果的な理解を隠蔽する。 したがって、既存のLVLMのRS画像への直接適応を制限する。 このギャップに対処するために,セマンティックなマルチレベルアライメントとセマンティックなエキスパートモデリングという2つのコアコンポーネントを組み込んだ,RS理解に適した新しいLVLMフレームワークを提案する。 まず,複数レベルの視覚的特徴を整合させるために,検索に基づくセマンティック拡張モジュールを導入する。 RSセマンティックナレッジデータベースから関連するセマンティックキューを検索し、続いてユーザクエリと複数レベルの視覚的特徴によるセマンティックキューの集約を行い、複数のレベルにわたってセマンティックにリッチな表現をもたらすように設計されている。 第2に、セマンティック・アウェア・エキスパート・モデリングでは、各専門家が別々のレベルでセマンティック表現を処理する責任を負うセマンティック・エキスパートを設計する。 これにより、粗いレベルから細かいレベルへの階層的な意味理解が可能になる。 シーン分類やVQAなどを含む複数のRSタスクを対象とした評価では、提案フレームワークは複数のセマンティックレベルにわたって一貫した改善を達成している。 このことは、一般的なLVLMとRS固有の視覚言語理解のユニークな要求とのギャップを埋める能力と有効性を強調している。

関連論文リスト

• DeepSPG: Exploring Deep Semantic Prior Guidance for Low-light Image Enhancement with Multimodal Learning [0.0]
  低照度画像強調のためのRetinex画像分解に基づく新しいディープセマンティック事前誘導フレームワーク(DeepSPG)を提案する。 提案したDeepSPGは,5つのベンチマークデータセットを対象とした最先端手法と比較して,優れた性能を示す。
  論文  参考訳（メタデータ） (2025-04-27T06:56:07Z)
• Enhanced Multimodal RAG-LLM for Accurate Visual Question Answering [10.505845766495128]
  MLLM(Multimodal large language model)は、視覚とテキストのモダリティの統合において大きな進歩を遂げた。 マルチモーダル検索拡張生成(RAG)に基づく新しいフレームワークを提案する。 RAGは、画像内のオブジェクト認識、関係識別、空間的理解を強化するために構造化されたシーングラフを導入している。
  論文  参考訳（メタデータ） (2024-12-30T13:16:08Z)
• Instruction-Guided Fusion of Multi-Layer Visual Features in Large Vision-Language Models [50.98559225639266]
  6つのタスクカテゴリにまたがる18のベンチマークを用いて,異なるエンコーダ層からの視覚的特徴の寄与について検討した。 この結果から,多層構造はタスク依存性の相補的な長所を提供し,均一な融合が最適以下の性能をもたらすことが明らかとなった。 テキスト命令に基づいて動的に多層視覚特徴を統合する命令誘導型視覚アグリゲータを提案する。
  論文  参考訳（メタデータ） (2024-12-26T05:41:31Z)
• RSUniVLM: A Unified Vision Language Model for Remote Sensing via Granularity-oriented Mixture of Experts [17.76606110070648]
  複数の粒度にまたがる包括的視覚理解のための統一型エンドツーエンドRS VLMであるRSUniVLMを提案する。 RSUniVLMは、変更検出や変更キャプションのインスタンスを含む、マルチイメージ解析において効果的に機能する。 また、RSと一般ドメインの両方の既存のデータセットに基づいて、大規模なRS命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:11:21Z)
• PSVMA+: Exploring Multi-granularity Semantic-visual Adaption for Generalized Zero-shot Learning [116.33775552866476]
  一般化ゼロショット学習(GZSL)は、目に見えない領域の知識を用いて、見えないものを識別する試みである。 GZSLは、属性の多様性とインスタンスの多様性により、視覚的セマンティックな対応が不十分である。 本稿では,不整合の解消に十分な視覚要素を収集できる多粒性プログレッシブ・セマンティック・視覚適応ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T12:49:33Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。