論文の概要: IRSTD-Agent: Agentic Infrared Small Target Detection via Zoom-Guided Interaction Learning
- arxiv url: http://arxiv.org/abs/2610.05342v1
- Date: Sun, 04 Oct 2026 16:10:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 21:27:25.238701
- Title: IRSTD-Agent: Agentic Infrared Small Target Detection via Zoom-Guided Interaction Learning
- Title(参考訳): IRSTD-Agent:Zoom-Guided Interaction Learningによるエージェント赤外線小ターゲット検出
- Abstract要約: IRSTD-Agentは動的ビジュアルサーチによる赤外線小ターゲット検出のためのエージェントフレームワークである。
5つの視覚ツール(PROPOSAL, ZOOM, DETECT, DROP, REFINE)は、対象候補の発見、適応観測、ターゲットのローカライゼーション、仮説の拒絶、目標範囲の洗練をサポートする。
IRSTDタスクにおいて、IRSTD-Agentは評価された視覚言語モデルよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 31.503991279830505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Infrared small-target detection plays an important role in maritime monitoring and aerial surveillance. Although multimodal large language models (MLLMs) offer promising capabilities for visual understanding, existing MLLM-based approaches struggle to precisely localize infrared small targets. In this paper, we propose IRSTD-Agent, an agentic framework for infrared small target detection through dynamic visual search. The framework enables an MLLM to adaptively determine where and at what scale to inspect an image and progressively gather fine-grained visual evidence for precise target localization. Five complementary visual tools (PROPOSAL, ZOOM, DETECT, DROP and REFINE) support object candidate discovery, adaptive observation, target localization, hypothesis rejection, and target extent refinement, together enabling a coordinated search process over original-resolution images. To teach the MLLMs to conduct this search, we introduce Zoom-guided Interaction Learning, which uses annotation-derived interaction trajectories to supervise tool selection and the corresponding arguments. Through extensive experiments on WideIRSTD-Full and IRSTD-1k datasets, we demonstrate that IRSTD-Agent outperforms the evaluated vision-language models and enhances the precise localization capabilities of MLLMs in IRSTD tasks.
- Abstract(参考訳): 赤外線小ターゲット検出は海上監視や航空監視において重要な役割を担っている。
マルチモーダル大規模言語モデル(MLLM)は視覚的理解に有望な能力を提供するが、既存のMLLMベースのアプローチは、赤外線の小さなターゲットを正確にローカライズするのに苦労する。
本稿では,動的ビジュアルサーチによる赤外線小ターゲット検出のためのエージェントフレームワークIRSTD-Agentを提案する。
このフレームワークにより、MLLMは、像を検査する場所と規模を適応的に決定し、的確なターゲットローカライゼーションのためのきめ細かい視覚的証拠を段階的に収集することができる。
5つの補完視覚ツール(PROPOSAL, ZOOM, DETECT, DROP, REFINE)は、対象候補発見、適応観測、目標位置化、仮説の拒絶、目標範囲の修正をサポートし、元の解像度画像上で協調的な探索プロセスを可能にする。
この探索をMLLMに教えるために,アノテーションに基づくインタラクショントラジェクトリを用いてツールの選択とそれに対応する引数を監督するZoom-guided Interaction Learningを導入する。
WideIRSTD-FullとIRSTD-1kデータセットの広範な実験を通じて、IRSTD-Agentは評価された視覚言語モデルより優れ、IRSTDタスクにおけるMLLMの正確なローカライゼーション能力を向上することを示した。
関連論文リスト
- Beyond Zooming: Learning Multi-Tool Visual Reasoning for Ultra-High-Resolution Remote Sensing [24.62771308673739]
広帯域衛星画像から構築した大規模マルチツールビジュアル推論データセットであるGeoMTVRを紹介する。
我々はGeoMTVR上のSFTとRLアルゴリズムを組み合わせることで、UHR RSのためのマルチツール視覚推論MLLMであるGeoLensを開発した。
実験の結果、GeoLensは直接推論やシングルツールズームインベースラインよりも一貫して優れていた。
論文 参考訳(メタデータ) (2026-07-28T17:09:16Z) - Zero-shot HOI Detection with MLLM-based Detector-agnostic Interaction Recognition [71.5328300638085]
Zero-shot Human-Object Interaction (HOI) は、画像中の人間と物体を特定し、その相互作用を認識することを目的としている。
2段階法を含む既存の手法は、特定の検出器との相互作用認識を密に結合する。
本稿では、オブジェクト検出をIRから分離し、マルチモーダル大言語モデル(MLLM)をゼロショットIRに活用する分離フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-16T19:01:31Z) - GeoEyes: On-Demand Visual Focusing for Evidence-Grounded Understanding of Ultra-High-Resolution Remote Sensing Imagery [69.05066425853326]
シンキング・ウィズ・イメージ」パラダイムは、マルチモーダルな大規模言語モデル(MLLM)がズームインツールを使って視覚的なシーンを積極的に探索することを可能にする。
これは超高分解能(UHR)リモートセンシングVQAにおいて必須であり、タスク関連キューは疎小である。
筆者らは,(1)冷間開始型SFTデータセット, UHR-CoZ(UHR-CoZ)を多種多様なズームレジームをカバーするトレーニングフレームワークであるGeoEyes,(2)エージェント強化学習手法であるAdaZoom-GRPOを提案する。
論文 参考訳(メタデータ) (2026-02-15T15:50:55Z) - AuxDet: Auxiliary Metadata Matters for Omni-Domain Infrared Small Target Detection [49.81255045696323]
補助メタデータ駆動型赤外小型ターゲット検出器(AuxDet)について述べる。
AuxDetはメタデータセマンティクスと視覚的特徴を統合し、各サンプルに対する適応表現学習を導く。
挑戦的なWideIRSTD-Fullベンチマークの実験は、AuxDetが一貫して最先端のメソッドより優れていることを示した。
論文 参考訳(メタデータ) (2025-05-21T07:02:05Z) - HiLM-D: Enhancing MLLMs with Multi-Scale High-Resolution Details for Autonomous Driving [44.06475712570428]
HiLM-D は ROLISP 用の MLLM の視覚情報処理を強化するリソース効率のよいフレームワークである。
本手法は, 自律走行シナリオにおける主要な変動が運動軌跡であるという事実に動機付けられている。
実験の結果、HiLM-Dは現在のMLLMよりも大幅に改善され、BLEU-4のキャプションは3.7%、mIoUの8.7%が検出された。
論文 参考訳(メタデータ) (2023-09-11T01:24:13Z) - Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。
画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。
オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
論文 参考訳(メタデータ) (2023-07-07T04:03:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。