論文の概要: SetOPD: From Few Visual Exemplars to Multimodal Candidate Sets for Remote-Sensing Open-Prompt Detection
- arxiv url: http://arxiv.org/abs/2609.32529v1
- Date: Sat, 26 Sep 2026 12:11:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 07:07:03.824172
- Title: SetOPD: From Few Visual Exemplars to Multimodal Candidate Sets for Remote-Sensing Open-Prompt Detection
- Title(参考訳): SetOPD:リモートセンシングオープンプロンプト検出のための視覚的経験からマルチモーダル候補セットへ
- Abstract要約: 既存のデザインは2つの方法で視覚的モダリティを弱めていると我々は主張する。
br promptingはすべてのボックス化された例題をフルシーンコンテキストで読み込み、プールされたサポートエビデンスをBaseアンカーと学習されたResidual修正に分解する。
pqaは、モダリティ固有の候補状態が形成された後にのみ明示的なクロスモーダル状態仲裁を行う。
- 参考スコア(独自算出の注目度): 8.335882612496334
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-prompt detectors allow users to specify targets with text, visual exemplars, or both. We argue that existing designs underuse the visual modality in two ways. First, multiple exemplars are commonly compressed into a single class-level embedding. This textualizes visual prompting: the resulting vector plays the role of another class name, is often aligned to or injected into the text pathway, and may be suboptimal when only a few heterogeneous exemplars are available. Second, existing methods interact primarily in prompt or representation space, before modality-specific detection states are formed. We address both issues from a set perspective: \setopd preserves modality-specific decoding states from a shared prompt-conditioned initialization and performs explicit multimodal collaboration at the candidate-state level. For the first issue, we introduce \br prompting, which reads every boxed exemplar in its full scene context and decomposes the pooled support evidence into a Base anchor and a learned Residual correction; the resulting prompt has fixed capacity regardless of the number of examples and drives its own visual detection pathway. For the second, we recast text--visual collaboration from representation-level fusion into a candidate-set modeling problem. Paired-Query Arbitration (\pqa) then performs explicit cross-modal state arbitration only after modality-specific candidate states have been formed. The two readers share query initialization so their candidates are paired by index; a learned gate arbitrates within each pair, followed by a permutation-equivariant module that reasons over the fused set.
- Abstract(参考訳): オープンプロンプト検出器は、ユーザーがテキスト、視覚的見本、またはその両方でターゲットを指定することができる。
既存のデザインは2つの方法で視覚的モダリティを弱めていると我々は主張する。
まず、複数の例を単一のクラスレベルの埋め込みに圧縮する。
結果として得られるベクトルは別のクラス名の役割を担い、しばしばテキストパスにアライメントされるか、注入される。
第二に、既存の手法は、モーダリティ固有の検出状態が形成される前に、主にプロンプト空間や表現空間で相互作用する。
stopdは、共有されたプロンプト条件付き初期化からモダリティ固有の復号状態を保持し、候補状態レベルで明示的なマルチモーダル協調を行う。
最初の問題として,すべてのボックス化された例をフルシーンで読み込み,プールされたサポートエビデンスをベースアンカーと学習された残留補正に分解する \br prompting を紹介した。
第2に、表現レベルの融合から候補セットモデル問題へのテキスト-視覚的協調をリキャストする。
Paired-Query Arbitration (\pqa) は、モダリティ固有の候補状態が形成された後にのみ明示的なクロスモーダル状態仲裁を行う。
2人の読者はクエリの初期化を共有して、候補がインデックスでペア化される。
関連論文リスト
- TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration [74.97459526627395]
2つの補完機構を備えたテンプレート誘導反復フレームワークであるTIDEを紹介する。
我々は,すでに発見されているものを条件付けながら,ラウンド毎に少数の候補を探索する反復探索を提案する。
単一ショットと並列マルチエージェントのベースラインをタスクカバレッジ,識別,解像度で比較すると,大幅に向上した。
論文 参考訳(メタデータ) (2026-06-03T11:23:08Z) - Learning Multi-Modal Prototypes for Cross-Domain Few-Shot Object Detection [25.15191353465313]
Cross-Domain Few-Shot Object Detection (CD-FSOD) は、いくつかのラベル付き例があるだけで、目に見えないターゲットドメインで新しいクラスを検出することを目的としている。
本稿では,LMPと呼ばれるマルチモーダルプロトタイプを目標領域から抽出した視覚的特徴とテキストガイダンスを結合して学習するデュアルブランチ検出器を提案する。
論文 参考訳(メタデータ) (2026-02-21T12:10:48Z) - Beyond Open Vocabulary: Multimodal Prompting for Object Detection in Remote Sensing Images [52.7196029918473]
リモートセンシングにおけるオープンボキャブラリオブジェクト検出は、テキストのみに依存してターゲットカテゴリを指定する。
実際には、タスクやアプリケーション固有のカテゴリセマンティクスによって、リモートセンシングのシナリオでは、この仮定は分解されることが多い。
テキストのみのプロンプト以外のカテゴリ仕様を再構成するマルチモーダルなオープン語彙検出フレームワークRS-MPODを提案する。
論文 参考訳(メタデータ) (2026-02-02T11:03:01Z) - Beyond Single Prompts: Synergistic Fusion and Arrangement for VICL [4.215181054941225]
Vision In-Context Learning (VICL) は、いくつかのプロンプトから新しい視覚タスクにインペイントモデルが迅速に適応できるようにする。
VICL法は,(1)最も類似したプロンプトのみを選択すると,他の高品質なプロンプトから補完的なキューを破棄し,(2)異なるプロンプトアレンジで入力される構造化情報を利用することができない,という2つの問題に悩まされている。
まず、適応型統合モジュールは複数のプロンプトから重要なパターンやアノテーションを集約し、より正確な文脈的プロンプトを形成する。
論文 参考訳(メタデータ) (2026-01-15T06:53:59Z) - Prototype-Aware Multimodal Alignment for Open-Vocabulary Visual Grounding [11.244257545057508]
Prototype-Aware Multimodal Learning (PAML) は、視覚的・言語的モダリティの不完全整合、クロスモーダルな特徴融合の欠如、意味的プロトタイプ情報の有効利用に対処する革新的なフレームワークである。
我々のフレームワークは,オープン語彙シーンにおける最先端の成果を達成しつつ,標準的な場面での競争性能を示す。
論文 参考訳(メタデータ) (2025-09-08T02:27:10Z) - ConText: Driving In-context Learning for Text Removal and Segmentation [59.6299939669307]
本稿では,視覚的インコンテキスト学習パラダイムを光学的文字認識タスクに適用する最初の研究について述べる。
画像除去・分離方式のタスクチェイン・コンポジトリを提案する。
また、連鎖したプロンプトパターンを潜在クエリ表現に統合するコンテキスト認識アグリゲーションも導入する。
論文 参考訳(メタデータ) (2025-06-04T10:06:32Z) - Tuning Multi-mode Token-level Prompt Alignment across Modalities [48.39511580746271]
本稿では,多モードのトークンレベルチューニングフレームワークを提案し,モジュール間のプロンプトトークンの集合を学習・調整する。
具体的には、1) 多様な意味表現を保証するマルチモードプロンプト発見、2) トークンレベルのアライメント、そして、きめ細かい類似性を探索する。
一般的な画像認識ベンチマークの実験では、我々のアプローチのより優れた一般化と少ないショット能力を示している。
論文 参考訳(メタデータ) (2023-09-25T03:20:09Z) - Semantic Prompt for Few-Shot Image Recognition [76.68959583129335]
本稿では,数ショット学習のための新しいセマンティック・プロンプト(SP)手法を提案する。
提案手法は,1ショットの学習精度を平均3.67%向上させることにより,有望な結果が得られる。
論文 参考訳(メタデータ) (2023-03-24T16:32:19Z) - See Finer, See More: Implicit Modality Alignment for Text-based Person
Retrieval [19.687373765453643]
テキストに基づく人物検索のためのImplicit Visual-Textual (IVT) フレームワークを提案する。
IVTは単一のネットワークを用いて両方のモダリティの表現を学習し、視覚とテクスチャの相互作用に寄与する。
論文 参考訳(メタデータ) (2022-08-18T03:04:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。