論文の概要: Refining Open-Vocabulary Semantic Segmentation via Regional Semantics and Visual Prototypes

• arxiv url: http://arxiv.org/abs/2610.30623v1
• Date: Thu, 22 Oct 2026 02:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.191981
• Title: Refining Open-Vocabulary Semantic Segmentation via Regional Semantics and Visual Prototypes
• Title（参考訳）: 地域セマンティックスと視覚プロトタイプによるオープン語彙セマンティックセマンティックセマンティックセグメンテーションの精製
• Abstract要約: コントラスト言語-画像事前学習(CLIP)は,画像レベルのオープン語彙分類タスクにおいて優れた性能を示した。 複雑な予測タスクは、ピクセルレベルの予測を実行するモデルを必要とする。 領域テキストアライメントのためのCLIPのバニラ視覚エンコーダ内の注意層を調整した。
• 参考スコア（独自算出の注目度）: 24.455249640071468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive Language-Image Pre-training (CLIP) has shown superior performance in the image-level open-vocabulary classification task, benefiting from its powerful alignment of visual features and text embeddings. However, dense prediction tasks require models to perform pixel-level predictions, necessitating modifications to CLIP for region-text alignment. In this paper, we adjust the attention layers within the vanilla visual encoder of CLIP. With a novel attention calculation method for selective attention features, the model retains more regional semantic information. To further mitigate the negative impact of the modality gap, we introduce additional visual prototypes to refine the original predictor solely based on text embeddings. Specifically, patch features with confident predictions are selected to form an additional auxiliary memory-based classifier for more accurate prediction. We further integrate an optimizable feature extractor with an exponential moving average updating strategy to enhance prediction quality. Extensive experiments on $5$ semantic segmentation datasets demonstrate the effectiveness of our method.
• Abstract（参考訳）: Contrastive Language-Image Pre-Training (CLIP) は画像レベルのオープン語彙分類タスクにおいて優れた性能を示しており、視覚的特徴とテキスト埋め込みの強力なアライメントの恩恵を受けている。 しかし、密度の高い予測タスクでは、ピクセルレベルの予測を実行し、リージョンテキストアライメントのためにCLIPを変更する必要がある。 本稿では,CLIPのバニラ視覚エンコーダ内の注意層を調整した。 選択的アテンション特徴に対する新しいアテンション計算法により、モデルはより地域的なセマンティック情報を保持する。 モダリティギャップの負の影響を緩和するため,テキスト埋め込みのみに基づくオリジナルの予測器を洗練するための視覚プロトタイプを新たに導入する。 具体的には、より正確な予測のための補助メモリベースの分類器を形成するために、確実な予測を伴うパッチ機能を選択する。 さらに、最適化可能な特徴抽出器と指数的な移動平均更新戦略を統合し、予測品質を向上する。 5ドルのセマンティックセグメンテーションデータセットの大規模な実験により,本手法の有効性が示された。

関連論文リスト

• Perceptual Anchoring: Prototype-Guided Text Calibration for Training-free Open-Vocabulary Semantic Segmentation [18.72475103290795]
  訓練自由なオープン語彙セマンティックセグメンテーション(OVSS)は任意のテキスト記述に基づいてイメージを意味的に異なる領域に分割する。 トレーニング不要なOVSSのためのPTC(Prototype-Guided TextGuided)を提案する。 PTCは、初期マッチングスコアに基づいて信頼できる視覚的エビデンスを選択して、カテゴリ固有の視覚的プロトタイプを構築する。 アンチョリング段階では、PTCはこれらのプロトタイプを使用して対応するテキスト埋め込みを校正し、視覚的証拠の量に基づいて校正強度を適応的に調整する。
  論文  参考訳（メタデータ） (2026-08-04T17:52:13Z)
• Fine-grained CLIP fine-tuning with self-annotated region alignment [57.28808560528696]
  対照的な言語-画像事前学習は、そのきめ細かい特徴表現に制限があることが示されている。 そこで我々は,CLIPファインチューニングにおける細粒度表現能力を高めるために,SFF-CLIP(Self-annotated Fine-fine-tuning for CLIP)を提案する。
  論文  参考訳（メタデータ） (2026-07-15T10:06:39Z)
• Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation [22.409969687852506]
  画像から直接派生したインスタンス固有の事前情報を組み込んだ構造認識機能修正手法を提案する。 本手法は,セグメンテーションノイズを効果的に抑制し,領域レベルの整合性を向上し,複数の開語彙セグメンテーションベンチマークにおいて高い性能を実現する。
  論文  参考訳（メタデータ） (2025-12-08T10:00:36Z)
• Preserving Clusters in Prompt Learning for Unsupervised Domain Adaptation [29.809079908218607]
  この研究は、ベース擬似ラベルを強化し、ターゲット・プロンプト学習を促進する新しいソリューションを導入している。 まず、ソースとターゲットの視覚的埋め込みの関係に基づき、参照予測を活用することを提案する。 その後、事前学習したマルチモーダルモデルにおいて、視覚とテキストの埋め込みの間に強いクラスタリングの挙動が観察されていることを示した。
  論文  参考訳（メタデータ） (2025-06-13T06:33:27Z)
• Seeing What Matters: Empowering CLIP with Patch Generation-to-Selection [54.21851618853518]
  本稿では,CLIPのトレーニング効率を高めるために,パッチ生成と選択という簡潔で効果的なアプローチを提案する。 私たちのアプローチであるCLIP-PGSは、ゼロショット分類と検索タスクにおいて、新しい最先端結果を設定する。
  論文  参考訳（メタデータ） (2025-03-21T12:10:38Z)
• Adaptive Prompt Tuning: Vision Guided Prompt Tuning with Cross-Attention for Fine-Grained Few-Shot Learning [5.242869847419834]
  コンピュータビジョンにおける微妙な分類は、限られたデータで微妙な分類を区別する必要があるため、大きな課題となる。 本稿では,適応的なプロンプトチューニングにより,コントラスト言語画像事前学習モデルを強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T08:51:01Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• CLIP-Adapter: Better Vision-Language Models with Feature Adapters [84.88106370842883]
  即時チューニング以外に、より良い視覚言語モデルを実現するための代替経路があることが示される。 CLIP-Adapterは新たなボトルネックレイヤを採用して、新機能を学び、残留スタイルの機能ブレンディングを実行する。 様々な視覚的分類タスクの実験および広範囲なアブレーション研究は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2021-10-09T11:39:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。