論文の概要: Foundation Models for Remote Sensing: An Analysis of MLLMs for Object Localization

• arxiv url: http://arxiv.org/abs/2504.10727v1
• Date: Mon, 14 Apr 2025 21:34:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:09.226921
• Title: Foundation Models for Remote Sensing: An Analysis of MLLMs for Object Localization
• Title（参考訳）: リモートセンシングのための基礎モデル:オブジェクトローカライゼーションのためのMLLMの解析
• Authors: Darryl Hannan, John Cooper, Dylan White, Timothy Doster, Henry Kvinge, Yijing Watkins,
• Abstract要約: 我々は,空間的推論機能を含むように明示的に訓練された最近のMLLMを分析した。 これらのモデルが特定の設定で実行可能であることを実証し、ゼロショットシナリオに適していることを示す。
• 参考スコア（独自算出の注目度）: 7.0683335354070085
• License:
• Abstract: Multimodal large language models (MLLMs) have altered the landscape of computer vision, obtaining impressive results across a wide range of tasks, especially in zero-shot settings. Unfortunately, their strong performance does not always transfer to out-of-distribution domains, such as earth observation (EO) imagery. Prior work has demonstrated that MLLMs excel at some EO tasks, such as image captioning and scene understanding, while failing at tasks that require more fine-grained spatial reasoning, such as object localization. However, MLLMs are advancing rapidly and insights quickly become out-dated. In this work, we analyze more recent MLLMs that have been explicitly trained to include fine-grained spatial reasoning capabilities, benchmarking them on EO object localization tasks. We demonstrate that these models are performant in certain settings, making them well suited for zero-shot scenarios. Additionally, we provide a detailed discussion focused on prompt selection, ground sample distance (GSD) optimization, and analyzing failure cases. We hope that this work will prove valuable as others evaluate whether an MLLM is well suited for a given EO localization task and how to optimize it.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)はコンピュータビジョンの景観を変え、特にゼロショット設定において、幅広いタスクで印象的な結果を得た。 残念なことに、彼らの強いパフォーマンスは、地球観測(EO)画像のような分布外領域に常に移行するとは限らない。 以前の研究では、MLLMは画像キャプションやシーン理解といった一部のEOタスクに優れており、オブジェクトのローカライゼーションのようなよりきめ細かい空間的推論を必要とするタスクに失敗した。 しかし、MLLMは急速に進歩しており、洞察は急速に時代遅れになっている。 本研究では,EOオブジェクトローカライゼーションタスクにおいて,より詳細な空間推論機能を含むように明示的に訓練された最近のMLLMを分析する。 これらのモデルが特定の設定で実行可能であることを実証し、ゼロショットシナリオに適していることを示す。 さらに,早期選択,地中サンプル距離(GSD)最適化,障害事例の解析に焦点をあてた詳細な議論を行う。 MLLMが与えられたEOローカライゼーションタスクに適しているか、どのように最適化するかを評価することで、この研究の価値が期待できる。

関連論文リスト

• EmbodiedEval: Evaluate Multimodal LLMs as Embodied Agents [57.4686961979566]
  EmbodiedEvalは、組み込みタスクを持つMLLMの総合的かつインタラクティブな評価ベンチマークである。 多様性が大幅に向上した既存のAIタスクの幅広い範囲をカバーする。 EmbodiedEval における最先端MLLM の評価を行い,人体作業における人体レベルと比較して有意に不足していることがわかった。
  論文  参考訳（メタデータ） (2025-01-21T03:22:10Z)
• MLLM-SUL: Multimodal Large Language Model for Semantic Scene Understanding and Localization in Traffic Scenarios [10.353093987945012]
  マルチモーダル大規模言語モデル(MLLM)は、多くの自律運転タスクにおいて満足な効果を示している。 本稿では,MLLMを用いて,協調的セマンティック・シーン理解とリスク・ローカライゼーションの課題を解決する。 本手法はシーン理解タスクにおいて,80.1%のBLEU-1スコア,298.5%のCIDErスコア,59.6%の精度を達成している。
  論文  参考訳（メタデータ） (2024-12-27T02:05:38Z)
• MOSABench: Multi-Object Sentiment Analysis Benchmark for Evaluating Multimodal Large Language Models Understanding of Complex Image [16.040813949620958]
  マルチオブジェクト感情分析に特化して設計された新しい評価データセットMOSABenchを紹介する。 MOSABenchの主なイノベーションは、距離ベースのターゲットアノテーション、出力を標準化するための評価のための後処理、改良されたスコアリング機構である。 本研究は、複雑な多目的感情分析タスクにおける精度を高めるためのMLLMの必要性を浮き彫りにするものである。
  論文  参考訳（メタデータ） (2024-11-25T09:00:36Z)
• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  現在、視覚言語モデル(VLM)には、状況を考慮した特定の物体をシーン内でローカライズする学習という、基本的な認知能力がないことが分かっています。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Tell Me Where You Are: Multimodal LLMs Meet Place Recognition [11.421492098416538]
  視覚的位置認識(VPR)にマルチモーダル大言語モデル(MLLM)を導入する。 我々のキーとなる設計は、視覚に基づく検索を用いて複数の候補を提案し、言語に基づく推論を利用して最終決定のために各候補を慎重に検査することである。 3つのデータセットから得られた結果から,VFMの汎用的視覚特徴とMLLMの推論能力の統合が,すでに有効な位置認識ソリューションを提供していることが示唆された。
  論文  参考訳（メタデータ） (2024-06-25T12:59:46Z)
• Task Me Anything [72.810309406219]
  本稿では,ユーザのニーズに合わせたベンチマークを作成する。 113Kイメージ、10Kビデオ、2Kの3Dオブジェクトアセット、365以上のオブジェクトカテゴリ、655の属性、335の関係がある。 750万のイメージ/ビデオ問合せペアを生成することが可能で、知覚能力の評価に重点を置いている。
  論文  参考訳（メタデータ） (2024-06-17T17:32:42Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)
• HiLM-D: Enhancing MLLMs with Multi-Scale High-Resolution Details for Autonomous Driving [44.06475712570428]
  HiLM-D は ROLISP 用の MLLM の視覚情報処理を強化するリソース効率のよいフレームワークである。 本手法は, 自律走行シナリオにおける主要な変動が運動軌跡であるという事実に動機付けられている。 実験の結果、HiLM-Dは現在のMLLMよりも大幅に改善され、BLEU-4のキャプションは3.7%、mIoUの8.7%が検出された。
  論文  参考訳（メタデータ） (2023-09-11T01:24:13Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。