論文の概要: Selective Tool Use for Agentic Change Visual Question Answering in Remote Sensing

• arxiv url: http://arxiv.org/abs/2609.14523v1
• Date: Sun, 13 Sep 2026 13:58:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.833788
• Title: Selective Tool Use for Agentic Change Visual Question Answering in Remote Sensing
• Title（参考訳）: リモートセンシングにおけるエージェント変更視覚質問応答のための選択ツール
• Abstract要約: 視覚的質問応答の変化(Change VQA)は、両時間的リモートセンシング画像間の意味的変化を理解する必要がある。 本稿では,1つのVLMが直接回答するか,あるいは決定論的変化分析ツールを起動して,質問特定証拠を得るための選択ツール利用フレームワークを提案する。 具体的には、選択したツールがバイテンポラルなセマンティックマップで動作し、構造化された観察結果を返す。
• 参考スコア（独自算出の注目度）: 2.4564286418294468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Change visual question answering (Change VQA) requires understanding semantic changes across bi-temporal remote sensing images. Although vision language models (VLMs) have shown promising performance on this task, they remain unreliable when answering questions that require explicit transition statistics, area measurements, or spatial information. To address this limitation, we propose a selective tool use framework in which a single VLM either answers directly or invokes a deterministic change analysis tool to obtain question specific evidence. Specifically, the selected tool operates on bi-temporal semantic maps and returns a structured observation, which the same VLM uses to generate its final answer. To support this framework, we construct a tool augmented extension of CDVQA covering eight question families and three tools for transition, spatial, and temporal analysis. Tool use supervision and observations are derived automatically from the original semantic annotations, without additional manual labeling. We then adapt Qwen3.5-4B using Low Rank Adaptation (LoRA) to jointly learn direct answering, tool invocation, and evidence conditioned answering. Experiments on 7,164 test questions show that selective tool use with reference semantic maps improves overall accuracy from 73.77% to 88.79% and average family accuracy from 69.11% to 89.65%. When the semantic maps are predicted automatically, the framework achieves 77.47% overall accuracy and 75.06% average family accuracy. These results demonstrate the benefit of question-specific semantic evidence for Change VQA, while highlighting the influence of semantic prediction quality on the resulting performance. Code and tool-augmented annotations will be made publicly available at https://github.com/yakoubbazi/ToolChangeVQA.
• Abstract（参考訳）: 視覚的質問応答の変化(Change VQA)は、両時間的リモートセンシング画像間の意味的変化を理解する必要がある。 視覚言語モデル(VLM)はこのタスクで有望な性能を示したが、明示的な遷移統計、面積測定、空間情報を必要とする質問に答える際には信頼できないままである。 この制限に対処するために,一つのVLMが直接答えるか,あるいは決定論的変化解析ツールを起動して,質問特定証拠を得る,選択的ツール利用フレームワークを提案する。 具体的には、選択したツールがバイテンポラルなセマンティックマップで動作し、構造化された観察結果を返す。 このフレームワークをサポートするために,CDVQAの拡張ツールを構築し,遷移,空間,時間的分析のための8つの質問ファミリと3つのツールを網羅した。 ツールの使用監視と観察は、手作業によるラベル付けなしで、オリジナルのセマンティックアノテーションから自動的に導き出される。 次に,Low Rank Adaptation (LoRA) を用いてQwen3.5-4Bを適用し,直接回答,ツール呼び出し,証拠条件付き回答を共同で学習する。 7,164件の実験では、参照セマンティックマップを用いた選択ツールの使用により、全体の精度が73.77%から88.79%に向上し、家族の平均精度が69.11%から89.65%に向上した。 セマンティックマップが自動的に予測されると、全体の精度は77.47%、家族の平均精度は75.06%に達する。 これらの結果は、意味予測品質が結果のパフォーマンスに与える影響を強調しながら、変化VQAに対する疑問特異的な意味的証拠の利点を示している。 コードとツール拡張アノテーションはhttps://github.com/yakoubbazi/ToolChangeVQA.comで公開される。

関連論文リスト

• Paint What You See: Benchmarking Dexterous Visual Tool Use in Multimodal Agents [14.940946245813336]
  この分野における重要で未探索の能力 - 繊細なビジュアルツールの使用 - を特定します。 既存のベンチマークでは、Webナビゲーション、GUI操作、ソフトウェアエンジニアリングがカバーされている。 本稿では,視覚的ツール使用の制御されたインスタンスを評価するベンチマークであるEASELを提案する。
  論文  参考訳（メタデータ） (2026-08-26T06:19:28Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• ToolGate: Token-Efficient Pre-Call Control for Tool-Augmented Vision-Language Agents [9.793491545168575]
  ToolGateは、軌道テキストと単純な構造的特徴から実行/スキップの決定を予測する。 2つのQwen3-VLバックボーンで、ToolGateはトークンコストを制限なしのReActベースラインの64-69%に削減する。
  論文  参考訳（メタデータ） (2026-06-02T02:44:27Z)
• ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning [59.558706734431276]
  空間知能の現在の評価は、現代の視覚言語モデル(VLM)設定下で体系的に無効にすることができる。 本稿では,各QAペアが実際の入力の下で応答可能で正しいことを保証するためのベンチマークとプロトコルであるReVSIを紹介する。
  論文  参考訳（メタデータ） (2026-04-27T10:45:51Z)
• LLM Agent Framework for Intelligent Change Analysis in Urban Environment using Remote Sensing Imagery [3.585412183424656]
  本稿では,Large Language Models(LLM)を視覚基盤モデルと統合し,ChangeGPTを形成する汎用エージェントフレームワークを提案する。 このエージェントは、現実世界のシナリオによって分類された140の質問(例えば、サイズ、クラス、数)と複雑さを含む、キュレートされたデータセットで評価された。 ChangeGPT、特にGPT-4-turboバックエンドは優れた性能を示し、90.71%のマッチングレートを達成した。
  論文  参考訳（メタデータ） (2026-01-06T06:49:51Z)
• TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use [74.47746287181383]
  大規模言語モデル(LLM)ベースのエージェントは、現実のタスクを完了するためのツールの使用にますます依存している。 LLMのツール使用能力を総合的に評価するためのトラジェクトリ対応ベンチマークであるTRAJECT-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T07:30:25Z)
• How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
  マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。 本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。 IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
  論文  参考訳（メタデータ） (2025-08-28T15:57:33Z)
• ThinkGeo: Evaluating Tool-Augmented Agents for Remote Sensing Tasks [64.86209459039313]
  ThinkGeoは、構造化ツールの使用とマルチステップ計画を通じて、リモートセンシングタスクにおけるツール拡張エージェントを評価するために設計されたエージェントベンチマークである。 我々はReActスタイルの対話ループを実装し,486 個の構造化エージェントタスク上でのオープンソース LLM とクローズドソース LLM の両方を1,773 個の専門家が検証した推論ステップで評価する。 分析の結果、ツールの精度とモデル間の計画整合性に顕著な相違が明らかになった。
  論文  参考訳（メタデータ） (2025-05-29T17:59:38Z)
• Flexible Tool Selection through Low-dimensional Attribute Alignment of Vision and Language [9.378472434981088]
  柔軟なツール選択は、人間が他の種と区別する複雑な認知能力を反映している。 視覚的ツール認識と言語的タスク理解を橋渡しするために,低次元属性表現を用いたフレームワークを開発した。
  論文  参考訳（メタデータ） (2025-05-28T09:06:04Z)
• Show Me What and Where has Changed? Question Answering and Grounding for Remote Sensing Change Detection [82.65760006883248]
  我々は,CDQAG (Change Detection Question Answering and Grounding) という新しいタスクを導入する。 CDQAGは、解釈可能なテキスト回答と直感的な視覚的証拠を提供することで、従来の変更検出タスクを拡張している。 QAG-360Kと呼ばれる最初のCDQAGベンチマークデータセットを構築し、360K以上の質問、テキスト回答、およびそれに対応する高品質な視覚マスクを含む。
  論文  参考訳（メタデータ） (2024-10-31T11:20:13Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Beyond Accuracy: A Consolidated Tool for Visual Question Answering Benchmarking [30.155625852894797]
  研究者や主催者を対象としたブラウザベースのベンチマークツールを提案する。 私たちのツールは、複数のデータセットにわたるモデルの一般化機能をテストするのに役立ちます。 対話的フィルタリングは問題のある振る舞いの発見を促進する。
  論文  参考訳（メタデータ） (2021-10-11T11:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。