論文の概要: ProtoRAG: Prototype-Based Retrieval Augmentation for Few-Shot Fine-Grained Remote Sensing Object Detection
- arxiv url: http://arxiv.org/abs/2609.05953v1
- Date: Sat, 05 Sep 2026 07:40:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 12:12:03.021315
- Title: ProtoRAG: Prototype-Based Retrieval Augmentation for Few-Shot Fine-Grained Remote Sensing Object Detection
- Title(参考訳): ProtoRAG:Few-Shot Fine-Grained Remote Sensing Object Detectionのためのプロトタイプベース検索拡張
- Abstract要約: リモートセンシング画像における微粒な物体検出は、限定的なアノテーションがオブジェクトの局所化と識別の両方をサポートする必要があるため、困難である。
本稿では,粗い局所化を微粒化認識から切り離すプロトタイプベースの検索拡張フレームワークProtoRAGを提案する。
本研究では,不確実性誘導型候補制約推論戦略を開発し,MLLMを検索した候補固有の視覚的参照で拡張する。
- 参考スコア(独自算出の注目度): 14.475375107679731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot fine-grained object detection (FGOD) in remote sensing imagery is challenging because limited annotations must support both object localization and discrimination among visually similar subcategories. Although multimodal large language models (MLLMs) provide strong coarse object localization, they lack explicit visual evidence for reliable fine-grained recognition. To address this limitation, we propose ProtoRAG, a prototype-based retrieval-augmented framework that decouples coarse localization from fine-grained recognition by equipping MLLMs with an external object-level visual memory. To construct a reliable visual memory from limited support samples, we introduce Discriminative Prototype Space Learning (DPSL), which encourages discriminative and prototype-stable representations through supervised contrastive learning and prototype-consistency regularization. We further develop an uncertainty-guided candidate-constrained reasoning strategy that augments MLLMs with retrieved candidate-specific visual references and invokes multimodal reasoning only for ambiguous instances. Extensive experiments show that ProtoRAG consistently surpasses representative baselines in nine few-shot settings, outperforming the strongest baselines by 14.80, 2.27, and 4.04 mAP$_{50}$ on MAR20, HRSC2016, and FAIR1M-2.0, respectively.
- Abstract(参考訳): リモートセンシング画像におけるFGOD(Few-shot Fine-fine Object Detection)は、オブジェクトの局所化と視覚的に類似したサブカテゴリ間の識別の両方を限定アノテーションでサポートしなければならないため、難しい。
マルチモーダル大規模言語モデル(MLLM)は、強い粗いオブジェクトローカライゼーションを提供するが、信頼性の高い微粒化認識のための明確な視覚的証拠は欠如している。
この制限に対処するため,プロトタイプベースの検索拡張フレームワークであるProtoRAGを提案する。
限られた支援サンプルから信頼性の高い視覚記憶を構築するために,識別型空間学習(DPSL)を導入する。
さらに,検索した候補固有の視覚参照でMLLMを増強し,不明瞭なインスタンスに対してのみマルチモーダル推論を実行する不確実性誘導型候補制約推論戦略を開発した。
大規模な実験の結果、ProtoRAGは9つのショットセットで代表ベースラインを一貫して上回り、それぞれMAR20、HRSC2016、FAIR1M-2.0で14.80、2.27、および4.04 mAP$_{50}$を上回った。
関連論文リスト
- DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation [0.0]
DRAgentはMLLMによるReferring Expressionの差別的推論フレームワークである。
DRAgentはRefCOCO、RefCOCO+、RefCOCOgで競争力を発揮する。
論文 参考訳(メタデータ) (2026-08-24T07:18:38Z) - Is It Time for the Renaissance of Salient Object Detection in the Era of MLLMs? [25.03825424390989]
MLLM(Multimodal large language model)は、タスク固有の監視を超越した、有能なオブジェクト検出(SOD)を推進している。
SODをローカライズとセグメンテーションに分解し、フレーズ、ボックス、属性でデータセットを再エンジニアリングする。
We introduced the first training-free framework that leverages Collaborative attention for Unified SOD (FOCUS)。
論文 参考訳(メタデータ) (2026-07-31T09:54:23Z) - ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳(メタデータ) (2026-06-27T13:50:39Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-07T02:05:12Z) - ResAgent: Entropy-based Prior Point Discovery and Visual Reasoning for Referring Expression Segmentation [21.87321809019825]
Referring Expression(RES)は、自由形式の言語表現によるターゲットのピクセルレベルの理解を可能にする、コアビジョン言語セグメンテーションタスクである。
textbfmodelは textbfEntropy-textbfBased Point textbfDiscovery (textbfEBD) と textbfVision-textbfBased textbfReasoning (textbfVBR) を統合する新しいRESフレームワークである。
model は coarse-to を実装します
論文 参考訳(メタデータ) (2026-01-23T01:56:04Z) - A Multimodal Depth-Aware Method For Embodied Reference Understanding [56.30142869506262]
Embodied Reference Understandingでは、言語命令とポインティングキューの両方に基づいて、視覚的なシーンで対象のオブジェクトを識別する必要がある。
本稿では,データ拡張,深度マップのモダリティ,深度認識決定モジュールを共同で活用する新しいERUフレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-09T14:32:21Z) - PropVG: End-to-End Proposal-Driven Visual Grounding with Multi-Granularity Discrimination [23.54011217288122]
PropVGは、前景オブジェクトの提案生成と参照オブジェクトの理解をシームレスに統合するエンドツーエンドの提案ベースのフレームワークである。
文レベルと単語レベルでのコントラスト学習を活用し,参照対象の理解・識別能力を高めるコントラストベースの参照スコアリング(CRS)モジュールを提案する。
また、オブジェクトレベルと意味レベル情報を融合させて、欠落したターゲットの認識を改善するマルチグラニュラリティターゲット識別(MTD)モジュールを設計する。
論文 参考訳(メタデータ) (2025-09-05T06:30:06Z) - RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。
本稿では,MLLMの検索とランク付けのための拡張手法を提案する。
提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文 参考訳(メタデータ) (2024-03-20T17:59:55Z) - Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Zero-shot Visual Relation Detection via Composite Visual Cues from Large
Language Models [44.60439935450292]
本稿では,ゼロショット視覚認識のための新しい手法であるRECODEを提案する。
各述語カテゴリを主題、対象、空間構成要素に分解する。
異なる視覚的手がかりは、異なる視点から類似した関係カテゴリの識別可能性を高める。
論文 参考訳(メタデータ) (2023-05-21T14:40:48Z) - CLIP the Gap: A Single Domain Generalization Approach for Object
Detection [60.20931827772482]
単一ドメインの一般化(Single Domain Generalization)は、単一のソースドメイン上でモデルをトレーニングすることで、目に見えないターゲットドメインに一般化する問題に取り組む。
本稿では、事前学習された視覚言語モデルを用いて、テキストプロンプトを介して意味領域の概念を導入することを提案する。
本手法は,検出器のバックボーンから抽出した特徴に作用する意味的拡張戦略と,テキストに基づく分類損失によって実現される。
論文 参考訳(メタデータ) (2023-01-13T12:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。