論文の概要: GeoNLI - A Natural Language Interpreter for Satellite Imagery

• arxiv url: http://arxiv.org/abs/2609.28741v1
• Date: Wed, 23 Sep 2026 19:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.532616
• Title: GeoNLI - A Natural Language Interpreter for Satellite Imagery
• Title（参考訳）: GeoNLI - 衛星画像のための自然言語解釈装置
• Abstract要約: 本研究では,VRS BenchとNWPU-VHR-10データセットのいくつかのモデルを評価する。 本研究では,複数のパイプライン(RemoteSAM-SAM-v1,RemoteSAM-SAM-v2,DiffuSAM)を提案する。 我々の統合モジュールパイプラインは、高度なSAM変種とマルチモーダルLLMを統合して、キャプション、VQA、グラウンドを共同で実行します。
• 参考スコア（独自算出の注目度）: 0.12640882896302838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal multitasking models have shown strong performance on remote sensing datasets. However, because these models are trained on heterogeneous data and vary across tasks, designing a unified model that performs well in captioning, visual question answering (VQA), and visual grounding remains challenging. In this work, we evaluate several models on the VRS Bench and NWPU-VHR-10 datasets. The EarthMind model demonstrates strong results in both captioning and VQA. For grounding, we propose multiple pipelines - RemoteSAM-SAM-v1, RemoteSAM-SAM-v2, and DiffuSAM - and ultimately adopt a majority-voting ensemble across EarthMind, RemoteSAM, SAM3, Falcon, RemoteSAM-SAM3-v1, RemoteSAM-SAM3-v2, and DiffuSAM predictions. Our unified, modular pipeline integrates advanced SAM variants with multimodal LLMs to jointly perform captioning, VQA, and grounding. It achieves 82% accuracy on captioning and 83.32% on VQA, with 90.94%, 52.04%, and 92.06% for binary, numeric, and semantic question types respectively. For grounding, it attains 64.94% accuracy. By combining diverse VLMs with our custom RemoteSAM-SAM3 models through ensemble majority voting, the system delivers more accurate and consistent remote-sensing understanding than task-specific approaches.
• Abstract（参考訳）: マルチモーダルマルチタスキングモデルはリモートセンシングデータセットに強い性能を示す。 しかし、これらのモデルは不均一なデータに基づいて訓練されており、タスクによって異なるため、キャプション、視覚的質問応答(VQA)、視覚的接地においてよく機能する統一モデルの設計は依然として困難である。 本研究では,VRS BenchとNWPU-VHR-10データセットのいくつかのモデルを評価する。 EarthMindモデルはキャプションとVQAの両方で強い結果を示す。 基盤として,複数のパイプライン(RemoteSAM-SAM-v1,RemoteSAM-SAM-v2,DiffuSAM)を提案し,最終的にEarthMind,RemoteSAM,SAM3,Falcon,RemoteSAM-SAM3-v1,RemoteSAM-SAM3-v2,DiffuSAM予測の多数投票アンサンブルを採用する。 我々の統合モジュールパイプラインは、高度なSAM変種とマルチモーダルLLMを統合して、キャプション、VQA、グラウンドを共同で実行します。 VQAでは82%、VQAでは83.32%の精度で、それぞれ90.94%、52.04%、92.06%がバイナリ、数値、セマンティックの質問タイプである。 グラウンドでは64.94%の精度である。 多様なVLMとカスタムのRemoteSAM-SAM3モデルを組み合わせることで、タスク固有のアプローチよりも正確で一貫したリモートセンシングの理解を提供する。

関連論文リスト

• SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images [51.42466259821335]
  我々は, SAM 3 をリモートセンシング OVSS タスクに適用するための予備的な検討を行った。 まず,SAM 3のセマンティックセグメンテーションヘッドとトランスフォーマーデコーダの出力を組み合わせたマスク融合戦略を実装した。 第2に、シーンに存在しないカテゴリをフィルタリングするために、プレゼンスヘッドからのプレゼンススコアを利用する。
  論文  参考訳（メタデータ） (2025-12-09T15:42:28Z)
• RFMedSAM 2: Automatic Prompt Refinement for Enhanced Volumetric Medical Image Segmentation with SAM 2 [15.50695315680438]
  Segment Anything Model 2 (SAM2)は、SAMを画像ドメインとビデオドメインの両方に拡張するプロンプト駆動基盤モデルである。 しかしSAMと同様、SAM 2はバイナリマスクの出力、セマンティックラベルの推論ができないこと、ターゲットのオブジェクト領域の正確なプロンプトへの依存によって制限されている。 我々は、カスタムの微調整アダプタを用いてSAM 2の上限値について検討し、BTCVデータセット上で92.30%のDice similarity Coefficient(DSC)を達成する。
  論文  参考訳（メタデータ） (2025-02-04T22:03:23Z)
• Sa2VA: Marrying SAM2 with LLaVA for Dense Grounded Understanding of Images and Videos [126.02606196101259]
  Sa2VAは、画像とビデオの両方の密集した理解のための、包括的で統一されたモデルである。 セグメンテーションや会話など、幅広い画像やビデオのタスクをサポートする。 Sa2VAはQwen-VLやIntern-VLなど、様々なVLMに容易に拡張できる。
  論文  参考訳（メタデータ） (2025-01-07T18:58:54Z)
• Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
  Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。 実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。 実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
  論文  参考訳（メタデータ） (2024-08-08T09:09:37Z)
• TS-SAM: Fine-Tuning Segment-Anything Model for Downstream Tasks [10.75125721857487]
  微調整されたSAMとドメイン固有のモデルの間には、依然として大きなパフォーマンスギャップがあります。 本稿では,SAM の強力な特徴をサイドネットワークトレーニングに統合し,包括的特徴融合を実現する Two-Stream SAM (TS-SAM) を提案する。 3つのタスクから得られた10の公開データセットに対する大規模な実験により、TS-SAMは、最近提案されたSAM-AdapterとSSOMよりも大幅に優れているだけでなく、SOTAドメイン固有のモデルとの競合性能も達成している。
  論文  参考訳（メタデータ） (2024-08-03T18:08:51Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks [47.646824158039664]
  オープンセットオブジェクト検出器として Grounding DINO を用いて,セグメントアプライスモデル(SAM)と組み合わせた Grounded SAM を紹介する。 この統合により任意のテキスト入力に基づいて任意の領域の検出とセグメンテーションが可能になる。
  論文  参考訳（メタデータ） (2024-01-25T13:12:09Z)
• Stable Segment Anything Model [79.9005670886038]
  SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。 本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。 1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
  論文  参考訳（メタデータ） (2023-11-27T12:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。