論文の概要: U-shaped Multi-granularity Learning for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.14966v1
• Date: Thu, 16 Jul 2026 13:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.118634
• Title: U-shaped Multi-granularity Learning for Vision-Language Models
• Title（参考訳）: 視覚言語モデルのためのU字型多粒性学習
• Abstract要約: 視覚言語モデルのための多言語学習フレームワークであるUPromptを提案する。 U-Netと同様に、UPromptは視覚とテキストの両モードで並列な多重粒度表現を構築する。 17のベンチマークに関する大規模な実験は、我々の有効性を検証する。
• 参考スコア（独自算出の注目度）: 8.898786482970456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prompt learning paradigm for vision-language models is effective yet faces a granularity dilemma: global prompts lack fine-grained semantic awareness, while local prompts ignore contextual associations, limiting cross-task generalization. This dilemma exists in dense prediction tasks. Inspired by U-Net, which unifies multi-level representations across granularities, we propose UPrompt, a U-shaped multi-granularity prompt learning framework for vision-language models. Similar to how U-Net integrates fine and coarse features through symmetric encoder-decoder pathways with cross-level connections, UPrompt constructs parallel multi-granularity representations in both visual and textual modalities, where coarse-to-fine cascaded enhancement propagates global context to refine local details, while fine-to-coarse hierarchical supervision ensures semantic consistency across scales. Extensive experiments on 17 benchmarks validate our effectiveness. UPrompt outperforms MAMET and VPKE by 4.1 and 7.3 rSum on MSCOCO, surpasses CoCoA-Mix by 5.09% in base-to-novel generalization, while maintaining competitive performance with minimal overhead (coarse-grained) and matching PSRC with 1/3 cost (medium-grained).
• Abstract（参考訳）: グローバルプロンプトは微粒な意味認識を欠くが、ローカルプロンプトは文脈的関連を無視し、クロスタスクの一般化を制限する。 このジレンマは密度の高い予測タスクに存在する。 粒度の多レベル表現を統一するU-NetにインスパイアされたUPromptは,視覚言語モデルのためのU字型多粒性学習フレームワークである。 U-Netが対称エンコーダ-デコーダ経路とクロスレベル接続を通した粗い機能を統合するのと同じように、UPromptは視覚とテキストの両モードで並列な多重粒度表現を構築する。 17のベンチマークに関する大規模な実験は、我々の有効性を検証する。 UPromptはMAMETとVPKEを4.1、MSCOCOで7.3 rSumで上回り、CoCoA-Mixを5.09%上回った。

関連論文リスト

• dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3 [36.6036728217708]
  Open-Vocabulary Semantics (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。 我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。 まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。 第2に、VTベースのエンコーダのグローバルトークンとローカルパッチレベルのビジュアル特徴の両方に整合したテキスト埋め込みを共同で活用する。
  論文  参考訳（メタデータ） (2026-03-19T23:57:28Z)
• LoGoSeg: Integrating Local and Global Features for Open-Vocabulary Semantic Segmentation [12.192429756057132]
  Open-vocabulary semantic segmentation (OVSS)は、従来のクローズドセットセマンティックセマンティックセマンティクスを拡張する。 ロゴセグは、(i)グローバルな画像とテキストの類似性を通じて関連カテゴリを動的に重み付けし、幻覚を効果的に低減するオブジェクトの存在、(ii)正確な地域レベルの視覚的テキスト対応を確立する地域対応アライメントモジュール、(iii)ローカルな構造情報とグローバルな意味コンテキストを最適に結合するデュアルストリーム融合機構の3つの重要なイノベーションを統合する。
  論文  参考訳（メタデータ） (2026-02-05T12:03:11Z)
• Multi-Perspective Subimage CLIP with Keyword Guidance for Remote Sensing Image-Text Retrieval [18.55080473948215]
  MPS-CLIPは、検索パラダイムをグローバルマッチングからキーワード誘導された微粒化アライメントにシフトさせるために設計された、パラメータ効率のよいフレームワークである。 RSICDとRSITMDベンチマークの実験では、MPS-CLIPは35.18%、48.40%がリコールである。
  論文  参考訳（メタデータ） (2026-01-26T06:16:53Z)
• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• Topological Alignment of Shared Vision-Language Embedding Space [5.5522557994489246]
  ToMCLIPは、トポロジ保存制約で埋め込み空間を整列するトポロジ対応フレームワークである。 マルチリンガル表現の構造コヒーレンスの向上,CIFAR-100でのゼロショット精度の向上,およびxFlickr&COでのマルチリンガル検索性能の向上を示す。
  論文  参考訳（メタデータ） (2025-10-13T01:36:38Z)
• Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
  本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。 クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。 我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-13T11:23:55Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• Towards Generalizable Referring Image Segmentation via Target Prompt and Visual Coherence [48.659338080020746]
  Referring Image segmentation (RIS) は、自由なテキスト記述に基づいて画像条件でオブジェクトを分割することを目的としている。 本稿では,先述の2つのジレンマに対処することにより,一般化能力を大幅に向上させる新しいRISアプローチを提案する。 特に、制約のないテキストを扱うために、明示的で決定的なプロンプトで与えられた表現を増強し、統一された文脈での表現を補完することを提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:31:24Z)
• Global and Local Semantic Completion Learning for Vision-Language Pre-training [34.740507502215536]
  クロスモーダルアライメントは、視覚言語事前学習モデルにおいて重要な役割を果たす。 グローバル・ローカル・セマンティック・コンプリート・ラーニング(GLSCL)タスクを提案し,グローバル・ローカル・アライメントとローカル・ローカル・アライメントを同時に行う。
  論文  参考訳（メタデータ） (2023-06-12T13:20:29Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。