論文の概要: UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery
- arxiv url: http://arxiv.org/abs/2607.08267v1
- Date: Thu, 09 Jul 2026 09:09:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.482039
- Title: UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery
- Title（参考訳）: UniRef-UAV:UAV画像におけるユニバーサル参照のためのマルチモーダルベンチマーク
- Abstract要約: 無人航空機(UAV)は、タスク関連ターゲットのローカライズに視覚的な接地機能に依存している。
既存の参照式理解ベンチマークとメソッドは、主にテキストのみのクエリと単一オブジェクトの出力に基づいて構築されている。
本稿では,一般的なUAV参照タスクであるemphUniversal Referringを導入する。
- 参考スコア（独自算出の注目度）: 69.87589293875112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unmanned aerial vehicles (UAVs) increasingly rely on visual grounding capabilities to localize task-relevant targets from diverse instructions in complex aerial scenes. Existing referring expression comprehension (REC) benchmarks and methods, however, are largely built around text-only queries and single-object outputs, which limits their applicability to practical UAV scenarios involving reference images, multimodal instructions, absent targets, and multiple valid target instances. To address this gap, we introduce \emph{Universal Referring}, a generalized UAV referring task that jointly expands the query modality and the output cardinality. We construct \emph{UniRef-UAV}, a multimodal benchmark that supports text-only, image-only, and text+image queries with modality-dependent target cardinality, where text-only and text+image queries admit no-target, single-target, and multi-target grounding while image-only queries focus on existence-aware single-instance grounding. It also provides in-domain and cross-domain evaluation protocols for visual-query generalization. We further present \emph{UAV-URNet}, a detection-style baseline that maps heterogeneous queries into a shared query space and predicts variable-size target sets through set prediction. Extensive experiments show that UAV-URNet provides a stable and reproducible baseline with more consistent no-target discrimination and a more lightweight, reproducible implementation than large general-purpose MLLMs. Additional domain analysis, query-representation analysis, and ablation studies demonstrate that multimodal queries help reduce visual-query ambiguity and promote a more unified query--target alignment space. The annotations, visual query crops/images, train/validation/test splits, evaluation scripts, and baseline code will be made publicly available to facilitate reproducible research.
- Abstract（参考訳）: 無人航空機(UAV)は複雑な空域での様々な指示からタスク関連ターゲットをローカライズする視覚的接地能力にますます依存している。
しかし、既存の参照式理解(REC)ベンチマークとメソッドは、主にテキストのみのクエリと単一オブジェクト出力に基づいて構築されており、参照画像、マルチモーダル命令、欠落ターゲット、複数の有効なターゲットインスタンスを含む実用的なUAVシナリオに適用性を制限する。
このギャップに対処するために,汎用UAV参照タスクであるemph{Universal Referring}を導入する。
テキストのみ、画像のみ、およびテキスト+イメージクエリをモダリティに依存した目標濃度でサポートするマルチモーダルベンチマークである \emph{UniRef-UAV} を構築し、テキストのみおよびテキスト+イメージクエリは、ターゲット、単一ターゲット、マルチターゲットグラウンドを許容する一方で、画像のみのクエリは存在を意識した単一インスタンスグラウンドにフォーカスする。
また、ビジュアルクエリの一般化のためのドメイン内およびクロスドメイン評価プロトコルも提供する。
さらに、異種クエリを共有クエリ空間にマッピングし、セット予測を通じて可変サイズのターゲットセットを予測する、検出スタイルのベースラインである \emph{UAV-URNet} を提示する。
大規模な実験により、UAV-URNetは安定的で再現可能なベースラインを提供し、より一貫した標的識別と大規模な汎用MLLMよりも軽量で再現可能な実装を提供することが示された。
追加のドメイン分析、クエリ表現分析、アブレーション研究は、マルチモーダルクエリがビジュアルクエリのあいまいさを減らし、より統一されたクエリターゲットアライメント空間を促進することを実証している。
アノテーション、ビジュアルクエリのクロップ/イメージ、トレイン/バリデーション/テストの分割、評価スクリプト、ベースラインコードは、再現可能なリサーチを促進するために公開されます。
関連論文リスト
- AeroRAG: Structured Multimodal Retrieval-Augmented LLM for Fine-Grained Aerial Visual Reasoning [2.9055098900305634]
本稿では,視覚的質問応答のためのシーングラフ誘導多モーダル検索拡張生成フレームワークであるAeroRAGを提案する。
このフレームワークはまず、入力画像からオブジェクトカテゴリ、量、意味的関係を含む構造化された視覚的知識に変換する。
その後、クエリ関連セマンティックチャンクを取得し、テキストベースの大規模言語モデルのためのコンパクトなプロンプトを構築する。
論文 参考訳（メタデータ） (2026-04-20T07:02:10Z) - Learning Multi-Modal Prototypes for Cross-Domain Few-Shot Object Detection [25.15191353465313]
Cross-Domain Few-Shot Object Detection (CD-FSOD) は、いくつかのラベル付き例があるだけで、目に見えないターゲットドメインで新しいクラスを検出することを目的としている。
本稿では,LMPと呼ばれるマルチモーダルプロトタイプを目標領域から抽出した視覚的特徴とテキストガイダンスを結合して学習するデュアルブランチ検出器を提案する。
論文 参考訳（メタデータ） (2026-02-21T12:10:48Z) - UNION: A Lightweight Target Representation for Efficient Zero-Shot Image-Guided Retrieval with Optional Textual Queries [3.6723140587841656]
Image-Guided Retrieval with Optional Text (IGROT) は、クエリがアンカーイメージで構成され、テキストに付随するか否かに関わらず、意味論的に関連付けられたターゲットイメージを検索する一般的な検索設定である。
本研究では,低データ管理下でIGROTに対処するため,Null-textプロンプトでイメージを融合させる軽量で汎用的なターゲット表現であるUNIONを導入する。
論文 参考訳（メタデータ） (2025-11-27T09:28:28Z) - Align Your Query: Representation Alignment for Multimodality Medical Object Detection [55.86070915426998]
本稿では,表現をモダリティの文脈と整合させる検出非依存の枠組みを提案する。
モーダリティトークンをマルチモーダリティコンテキスト注意による検出プロセスに統合する。
提案されたアプローチは、最小限のオーバーヘッドとアーキテクチャの変更を伴わず、APを継続的に改善する。
論文 参考訳（メタデータ） (2025-10-03T07:49:21Z) - Latent Expression Generation for Referring Image Segmentation and Grounding [13.611995923070426]
既存のほとんどのメソッドは単一のテキスト入力に依存しており、視覚領域で利用可能なリッチな情報のごく一部しか取得できない。
このリッチ・ビジュアル・ディテールと粗雑なテキスト・キューのミスマッチは、類似したオブジェクトの誤識別につながる可能性がある。
単一のテキスト入力から生成された複数の潜在表現を利用する新しい視覚的グラウンドディングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-07T07:57:27Z) - Referring Expression Instance Retrieval and A Strong End-to-End Baseline [37.47466772169063]
テキスト画像検索は、画像レベルの記述に基づいてギャラリーからターゲット画像を取得する。
Referring Expressionは、インスタンスレベルの記述を使用して、所定のイメージ内でターゲットオブジェクトをローカライズする。
我々は、インスタンスレベルの検索とローカライゼーションの両方をサポートする textbfReferring Expression Instance Retrieval (REIR) という新しいタスクを導入する。
論文 参考訳（メタデータ） (2025-06-23T02:28:44Z) - QID: Efficient Query-Informed ViTs in Data-Scarce Regimes for OCR-free Visual Document Understanding [53.69841526266547]
トレーニング済みのVision-Language Modelを新しいデータセットで微調整することは、ビジョンエンコーダの最適化に不足することが多い。
視覚エンコーダにクエリの埋め込みを統合する,新しい,合理化されたアーキテクチャ保存アプローチであるQIDを導入する。
論文 参考訳（メタデータ） (2025-04-03T18:47:16Z) - Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。
本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。
PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-06-01T15:14:58Z) - Multi-modal Transformers Excel at Class-agnostic Object Detection [105.10403103027306]
既存の手法では、人間の理解可能な意味論によって支配されるトップダウンの監視信号が欠落していると論じる。
マルチスケール特徴処理と変形可能な自己アテンションを用いた効率よく柔軟なMViTアーキテクチャを開発した。
多様なアプリケーションにおけるMViT提案の重要性を示す。
論文 参考訳（メタデータ） (2021-11-22T18:59:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。