論文の概要: Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2512.07360v1
• Date: Mon, 08 Dec 2025 10:00:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.816835
• Title: Structure-Aware Feature Rectification with Region Adjacency Graphs for Training-Free Open-Vocabulary Semantic Segmentation
• Title（参考訳）: 学習自由なオープン語彙セマンティックセマンティックセマンティックセグメンテーションのための領域隣接グラフを用いた構造認識的特徴再現
• Authors: Qiming Huang, Hao Ai, Jianbo Jiao,
• Abstract要約: 画像から直接派生したインスタンス固有の事前情報を組み込んだ構造認識機能修正手法を提案する。 本手法は,セグメンテーションノイズを効果的に抑制し,領域レベルの整合性を向上し,複数の開語彙セグメンテーションベンチマークにおいて高い性能を実現する。
• 参考スコア（独自算出の注目度）: 22.409969687852506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Benefiting from the inductive biases learned from large-scale datasets, open-vocabulary semantic segmentation (OVSS) leverages the power of vision-language models, such as CLIP, to achieve remarkable progress without requiring task-specific training. However, due to CLIP's pre-training nature on image-text pairs, it tends to focus on global semantic alignment, resulting in suboptimal performance when associating fine-grained visual regions with text. This leads to noisy and inconsistent predictions, particularly in local areas. We attribute this to a dispersed bias stemming from its contrastive training paradigm, which is difficult to alleviate using CLIP features alone. To address this, we propose a structure-aware feature rectification approach that incorporates instance-specific priors derived directly from the image. Specifically, we construct a region adjacency graph (RAG) based on low-level features (e.g., colour and texture) to capture local structural relationships and use it to refine CLIP features by enhancing local discrimination. Extensive experiments show that our method effectively suppresses segmentation noise, improves region-level consistency, and achieves strong performance on multiple open-vocabulary segmentation benchmarks.
• Abstract（参考訳）: OVSS(Open-vocabulary semantic segmentation)は、大規模データセットから学んだ帰納バイアスから恩恵を受け、CLIPのような視覚言語モデルのパワーを活用して、タスク固有のトレーニングを必要とせずに、目覚ましい進歩を達成する。 しかし、CLIPは画像とテキストのペアで事前学習しているため、大域的なセマンティックアライメントに集中する傾向があり、その結果、微粒な視覚領域とテキストを関連付ける際の準最適性能をもたらす。 これは特に地域において、騒々しく矛盾した予測につながる。 これは、CLIP機能だけでは緩和が難しい、対照的なトレーニングパラダイムに由来する分散バイアスによるものである。 そこで本研究では,画像から直接派生したインスタンス固有の事前情報を組み込んだ構造認識機能修正手法を提案する。 具体的には,低レベルの特徴(例えば,色,テクスチャ)に基づく領域隣接グラフを構築し,局所的な構造的関係を捉えるとともに,局所的な識別を強化することでCLIPの特徴を洗練させる。 拡張実験により,提案手法はセグメンテーションノイズを効果的に抑制し,領域レベルの整合性を向上し,複数の開語彙セグメンテーションベンチマークにおいて高い性能を発揮することが示された。

関連論文リスト

• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• Refining CLIP's Spatial Awareness: A Visual-Centric Perspective [10.936397225984107]
  コントラスト言語-画像 事前学習は、言語とのグローバルな整合性が優れているが、空間情報に対する感度は限られている。 最近のアプローチでは、高密度マルチモーダルタスクにおけるCLIPの性能を高めるために、Rerea-Language Alignmentを導入している。 本稿では,CLIP固有の空間構造を保存し,上記の劣化を緩和する空間相関蒸留(SCD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T07:04:56Z)
• Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction [80.67150791183126]
  事前訓練された視覚言語モデル(VLM)は、印象的なゼロショット認識能力を示したが、それでも高密度予測タスクでは性能が劣っている。 提案するDenseVLMは,非バイアスの領域言語アライメントを,強力な事前学習型VLM表現から学習するためのフレームワークである。 DenseVLMは、オープン語彙オブジェクト検出および画像分割法において、元のVLMを直接置き換えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-09T06:34:23Z)
• ClearCLIP: Decomposing CLIP Representations for Dense Vision-Language Inference [32.852004564832455]
  我々はCLIPのアーキテクチャを再検討し、残余接続をセグメンテーション品質を劣化させるノイズの主源として同定する。 オープン語彙セマンティックセグメンテーションを強化するためにCLIPの表現を分解する新しいアプローチであるClearCLIPを提案する。
  論文  参考訳（メタデータ） (2024-07-17T09:52:20Z)
• Explore the Potential of CLIP for Training-Free Open Vocabulary Semantic Segmentation [38.16802763051431]
  トレーニング不要なセマンティックセグメンテーション戦略であるCLIPtraseを提案する。 パッチ間の自己相関を補正することで、局所的な特徴認識を高める。 実験の結果、CLIPよりも平均して9つのセグメンテーションベンチマークで22.3%先行していることがわかった。
  論文  参考訳（メタデータ） (2024-07-11T08:12:16Z)
• Pay Attention to Your Neighbours: Training-Free Open-Vocabulary Semantic Segmentation [19.20874993309959]
  CLIPのような視覚言語基盤モデルは、多くのゼロショット画像レベルタスクにおいて顕著な効果を示した。 我々は、Nighbour-Aware CLIP(NACLIP)と呼ばれる、トレーニング不要なOVSSのベースラインを提案する。 OVSSの文献では,高密度予測タスクに欠かせないCLIPの視覚変換器の自己アテンションにおけるパッチの局所化が過小評価されている。
  論文  参考訳（メタデータ） (2024-04-12T01:08:04Z)
• Open-Vocabulary Segmentation with Semantic-Assisted Calibration [68.41025728960176]
  オープンボキャブラリセグメンテーション(OVS)は,CLIPの文脈に先行して,語彙内およびドメインバイアスの埋め込み空間を校正することで研究される。 オープン語彙セグメンテーションベンチマークにおける最先端性能を実現するために,セマンティック・アシブ・キャリブレーション・ネットワーク(SCAN)を提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:00:09Z)
• Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot Anomaly Localization [63.61093388441298]
  対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。 本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-30T10:35:36Z)
• Context-self contrastive pretraining for crop type semantic segmentation [39.81074867563505]
  提案したContext-Self Contrastive Loss (CSCL)は、セマンティックバウンダリをポップアップさせる埋め込み空間を学習する。 衛星画像時系列(SITS)からの作物型セマンティックセマンティックセグメンテーションでは,サテライト境界における性能が重要なボトルネックとなる。 より粒度の高い作物のクラスを得るための超解像における意味的セグメンテーションのプロセスを提案する。
  論文  参考訳（メタデータ） (2021-04-09T11:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。