論文の概要: Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

• arxiv url: http://arxiv.org/abs/2604.03657v1
• Date: Sat, 04 Apr 2026 09:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.704694
• Title: Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning
• Title（参考訳）: Love Me, Love My Label: 視覚的インテクスト学習におけるPrompt Retrievalにおけるラベルの役割の再考
• Authors: Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan,
• Abstract要約: ビジュアル・イン・コンテキスト・ラーニング(VICL)は、視覚基礎モデルを実証的なプロンプトで操作することで複数のタスクを処理できるようにする。 このようなプロンプトの選択はVICLのパフォーマンスに大きく影響し、重要な課題として際立っている。 我々は,ラベル選択におけるラベルの役割を強調するLaPR(Label-aware Prompt Retrieval)というフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 79.61386774847357
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual in-context learning (VICL) enables visual foundation models to handle multiple tasks by steering them with demonstrative prompts. The choice of such prompts largely influences VICL performance, standing out as a key challenge. Prior work has made substantial progress on prompt retrieval and reranking strategies, but mainly focuses on prompt images while overlooking labels. We reveal these approaches sometimes get visually similar but label-inconsistent prompts, which potentially degrade VICL performance. On the other hand, higher label consistency between query and prompts preferably indicates stronger VICL results. Motivated by these findings, we develop a framework named LaPR (Label-aware Prompt Retrieval), which highlights the role of labels in prompt selection. Our framework first designs an image-label joint representation for prompts to incorporate label cues explicitly. Besides, to handle unavailable query labels at test time, we introduce a mixture-of-expert mechanism to the dual encoders with query-adaptive routing. Each expert is expected to capture a specific label mode, while the router infers query-adaptive mixture weights and helps to learn label-aware representation. We carefully design alternative optimization for experts and router, with a VICL performance-guided contrastive loss and a label-guided contrastive loss, respectively. Extensive experiments show promising and consistent improvement of LaPR on in-context segmentation, detection, and colorization tasks. Moreover, LaPR generalizes well across feature extractors and cross-fold scenarios, suggesting the importance of label utilization in prompt retrieval for VICL. Code is available at https://github.com/luotc-why/CVPR26-LaPR.
• Abstract（参考訳）: ビジュアル・イン・コンテキスト・ラーニング(VICL)は、視覚基礎モデルを実証的なプロンプトで操作することで複数のタスクを処理できるようにする。 このようなプロンプトの選択はVICLのパフォーマンスに大きく影響し、重要な課題として際立っている。 先行研究は、迅速な検索と戦略の再評価に大きく進歩しているが、主にラベルを見下ろしながら、画像のプロンプトに焦点を当てている。 これらのアプローチは、視覚的に類似するが、ラベルに一貫性のないプロンプトがあり、VICL性能を低下させる可能性がある。 一方、クエリとプロンプト間のラベルの一貫性は、より強いVICL結果を示すことが好ましい。 これらの知見に触発され、我々はLaPR (Label-aware Prompt Retrieval) というフレームワークを開発した。 本フレームワークはまず,ラベルキューを明示的に組み込むための画像ラベル共同表現を設計する。 さらに、テスト時に利用できないクエリラベルを扱うために、クエリ適応ルーティングを備えたデュアルエンコーダに、Mix-of-expert機構を導入する。 各専門家は特定のラベルモードをキャプチャし、ルータはクエリ適応混合重みを推論し、ラベル対応表現を学習するのに役立つ。 我々は,VICL性能誘導型コントラスト損失とラベル誘導型コントラスト損失とを用いて,エキスパートとルータの代替最適化を慎重に設計する。 大規模な実験は、コンテキスト内セグメンテーション、検出、色分けタスクにおけるLaPRの有望かつ一貫した改善を示している。 さらに、LaPRは特徴抽出器やクロスフォールドシナリオをうまく一般化し、VICLの迅速な検索におけるラベル利用の重要性を示唆している。 コードはhttps://github.com/luotc-why/CVPR26-LaPRで公開されている。

関連論文リスト

• Tuning Vision-Language Models with Candidate Labels by Prompt Alignment [8.944708621017812]
  視覚言語モデル(VLM)は、画像テキストペアの大規模なトレーニングデータセットから高品質な表現を学習することができる。 プロンプト学習は、下流タスクに適応するためにVLMを微調整する一般的なアプローチである。 本稿では,学習過程を候補ラベルでガイドする枠組みを提案する。
  論文  参考訳（メタデータ） (2024-07-10T13:19:31Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Texts as Images in Prompt Tuning for Multi-Label Image Recognition [70.9310322461598]
  我々は、画像テキストのコントラスト学習により、テキストを画像として扱うことができ、即時チューニングやTaIプロンプトの導入が可能であることを主張する。 特にTaIプロンプトをマルチラベル画像認識に適用し、野生の文が画像の代替として機能し、迅速なチューニングを行う。 提案したTaI-DPTは,複数ベンチマークで0ショットCLIPよりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-23T07:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。