論文の概要: From Pixels to Concepts: Do Segmentation Models Understand What They Segment?

• arxiv url: http://arxiv.org/abs/2605.09591v1
• Date: Sun, 10 May 2026 15:07:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 02:24:05.532711
• Title: From Pixels to Concepts: Do Segmentation Models Understand What They Segment?
• Title（参考訳）: Pixelからコンセプトへ:セグメンテーションモデルはセグメンテーションを理解するか?
• Abstract要約: 我々は,CAFE: textbfCounterfactual textbfAttribute textbfFactuality textbfEvaluationを紹介した。 本ベンチマークでは,2,146対のサンプルを対象画像,接地トラスマスク,正のプロンプト,誤った負のプロンプトから構成した。
• 参考スコア（独自算出の注目度）: 26.89265297426196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Segmentation is a fundamental vision task underlying numerous downstream applications. Recent promptable segmentation models, such as Segment Anything Model 3 (SAM3), extend segmentation from category-agnostic mask prediction to concept-guided localization conditioned on high-level textual prompts. However, existing benchmarks primarily evaluate mask accuracy or object presence, leaving unclear whether these models faithfully ground the queried concept or instead rely on visually salient but semantically misleading cues. We introduce CAFE: \textbf{C}ounterfactual \textbf{A}ttribute \textbf{F}actuality \textbf{E}valuation, a novel benchmark for evaluating concept-faithful segmentation in promptable segmentation models. Our \textbf{CAFE} is built on attribute-level counterfactual manipulation: the target region and ground-truth mask are preserved, while attributes such as surface appearance, context, or material composition are modified to introduce misleading semantic cues. The benchmark contains 2,146 paired test samples, each consisting of a target image, a ground-truth mask, a positive prompt, and a misleading negative prompt. These samples cover three counterfactual categories: Superficial Mimicry (\textbf{SM}), Context Conflict (\textbf{CC}), and Ontological Conflict (\textbf{OC}). We evaluate various model types and sizes on our CAFE. Experiments reveal a systematic gap between localization quality and concept discrimination: models often generate accurate masks even for misleading prompts, suggesting that strong mask prediction does not necessarily imply faithful semantic grounding. Our CAFE provides a controlled benchmark for diagnosing whether promptable segmentation models perform concept-faithful grounding rather than shortcut-driven mask retrieval.
• Abstract（参考訳）: セグメント化は多くの下流アプリケーションの基礎となる基本的なビジョンタスクである。 Segment Anything Model 3 (SAM3) のような近年のプロンプト可能なセグメンテーションモデルは、カテゴリに依存しないマスク予測から、高レベルのテキストプロンプトで条件付けられた概念誘導のローカライゼーションまでセグメンテーションを拡張している。 しかし、既存のベンチマークは主にマスクの精度や物体の存在を評価しており、これらのモデルが精査された概念を忠実に基礎づけているのか、それとも視覚的に健全だが意味的に誤解を招く手がかりに依存しているのかははっきりしない。 本稿では,CAFE: \textbf{C}ounterfactual \textbf{A}ttribute \textbf{F}actuality \textbf{E}valuationを紹介する。 対象領域と接地トラスマスクは保存され, 表面の外観, コンテキスト, 材料組成などの属性は, 誤解を招くセマンティックキューを導入するために修正される。 ベンチマークには、2,146個のペアテストサンプルが含まれており、それぞれがターゲット画像、接地トラスマスク、正のプロンプト、誤った負のプロンプトで構成されている。 これらのサンプルは、Superficial Mimicry (\textbf{SM})、Context Conflict (\textbf{CC})、Ontological Conflict (\textbf{OC})の3つのカウンターファクトのカテゴリをカバーしている。 各種モデルタイプとサイズをCAFEで評価した。 モデルはしばしば、誤解を招くプロンプトであっても正確なマスクを生成し、強いマスク予測が必ずしも忠実なセマンティックグラウンドを暗示していないことを示唆している。 我々のCAFEは、ショートカット駆動マスク検索よりも、素早いセグメンテーションモデルが概念に忠実なグラウンディングを行うかどうかを診断するための制御されたベンチマークを提供する。

関連論文リスト

• Prompting Diffusion Models for Zero-Shot Instance Segmentation [74.37083707535778]
  本稿では拡散型セグメンテーションのための空間条件付きフレームワークPrompt2Segを提案する。 提案手法は2次元ガウスあるいは信頼マップとして表現された空間的プロンプトを明示的な入力信号として用い,ユーザ意図に直接応答するようにモデルを訓練する。 我々は,標準的なベンチマークから,絵画,エゴ中心ビュー,X線データなど,より困難な領域まで,7つのデータセットを評価した。
  論文  参考訳（メタデータ） (2026-06-21T20:30:41Z)
• Boundary-by-Mask: Few-Shot Instance Segmentation with Mask-Conditioned Boundary Learning for Texture-Poor Industrial Parts [1.3873323883842137]
  内部の外観ではなく境界を監督する数ショットのインスタンスセグメンテーションフレームワークであるBoundary-by-Maskを提案する。 このフレームワークは、低均一面や色均一面でも信頼性の高いインスタンス分離を実現する。 不明瞭な境界を持つ工業部品や食品の実験は、強力な数発の一般化、特徴量条件の堅牢性、マスクレベルの目標に対する精密な制御を示す。
  論文  参考訳（メタデータ） (2026-06-19T16:50:28Z)
• S$^3$POT: Contrast-Driven Face Occlusion Segmentation via Self-Supervised Prompt Learning [46.05577414378133]
  S$3$POTは、自己教師付き空間的プロンプトによる顔生成を相乗化するためのコントラスト駆動型フレームワークである。 特に、S$3$POTは、参照生成、機能拡張、Prompt Selectionの3つのモジュールで構成されている。 専用のデータセットの実験では、S$3$POTの優れたパフォーマンスと各モジュールの有効性が示されている。
  論文  参考訳（メタデータ） (2026-01-31T10:05:13Z)
• ResAgent: Entropy-based Prior Point Discovery and Visual Reasoning for Referring Expression Segmentation [21.87321809019825]
  Referring Expression(RES)は、自由形式の言語表現によるターゲットのピクセルレベルの理解を可能にする、コアビジョン言語セグメンテーションタスクである。 textbfmodelは textbfEntropy-textbfBased Point textbfDiscovery (textbfEBD) と textbfVision-textbfBased textbfReasoning (textbfVBR) を統合する新しいRESフレームワークである。 model は coarse-to を実装します
  論文  参考訳（メタデータ） (2026-01-23T01:56:04Z)
• SPARTA: Evaluating Reasoning Segmentation Robustness through Black-Box Adversarial Paraphrasing in Text Autoencoder Latent Space [11.534994345027362]
  MLLM(Multimodal large language model)は、推論セグメンテーションなどの視覚言語タスクにおいて顕著な機能を示す。 そこで本研究では,従来の問合せの意味を保ちつつ,セグメンテーション性能を劣化させつつ,文法的に正しい言い回しを生成する,新しい逆の言い回しタスクを提案する。 テキストオートエンコーダの低次元意味潜在空間で動作するブラックボックスであるSPARTAを導入する。
  論文  参考訳（メタデータ） (2025-10-28T14:09:05Z)
• LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
  参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。 本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。 ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
  論文  参考訳（メタデータ） (2024-10-17T07:47:41Z)
• Bridge the Points: Graph-based Few-shot Segment Anything Semantically [79.1519244940518]
  プレトレーニング技術の最近の進歩により、視覚基礎モデルの能力が向上した。 最近の研究はSAMをFew-shot Semantic segmentation (FSS)に拡張している。 本稿では,グラフ解析に基づく簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T15:02:28Z)
• Boosting Unsupervised Semantic Segmentation with Principal Mask Proposals [15.258631373740686]
  教師なしセマンティックセグメンテーションは、画像コーパス内のグローバルセマンティックカテゴリをアノテーションなしで識別することで、画像を自動的に意味のある領域に分割することを目的としている。 そこで,PriMaP - 主マスク提案 - 特徴表現に基づいてイメージを意味的に意味のあるマスクに分解する。 これにより、予測最大化アルゴリズムであるPriMaPs-EMを用いて、クラスプロトタイプをPriMaPsに適合させることで、教師なしセマンティックセマンティックセマンティクスを実現することができる。
  論文  参考訳（メタデータ） (2024-04-25T17:58:09Z)
• CPCM: Contextual Point Cloud Modeling for Weakly-supervised Point Cloud Semantic Segmentation [60.0893353960514]
  疎アノテーションを用いた弱教師付きポイントクラウドセマンティックセマンティックセグメンテーションの課題について検討する。 本研究では,地域マスキング(RegionMask)戦略とコンテキストマスキングトレーニング(CMT)手法の2つの部分からなるコンテキストポイントクラウドモデリング(CPCM)手法を提案する。
  論文  参考訳（メタデータ） (2023-07-19T04:41:18Z)
• Reflection Invariance Learning for Few-shot Semantic Segmentation [53.20466630330429]
  Few-shot semantic segmentation (FSS) は、いくつかのアノテーション付きサポートイメージを持つクエリイメージにおいて、目に見えないクラスのオブジェクトをセグメントすることを目的としている。 本稿では,マルチビューマッチング方式でリフレクション不変性をマイニングするための,新しい数ショットセグメンテーションフレームワークを提案する。 PASCAL-$5textiti$とCOCO-$20textiti$データセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-06-01T15:14:58Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation [75.00151934315967]
  MaskDistillは教師なしセマンティックセグメンテーションのための新しいフレームワークである。 我々のフレームワークは、低レベルの画像キューにラッチを付けず、オブジェクト中心のデータセットに限らない。
  論文  参考訳（メタデータ） (2022-06-13T17:59:43Z)
• Per-Pixel Classification is Not All You Need for Semantic Segmentation [184.2905747595058]
  マスク分類はセマンティックレベルのセグメンテーションタスクとインスタンスレベルのセグメンテーションタスクの両方を解くのに十分一般的である。 マスクの集合を予測する単純なマスク分類モデルであるMaskFormerを提案する。 提案手法は,現在の最先端セマンティック(ADE20Kでは55.6 mIoU)とパノプティックセグメンテーション(COCOでは52.7 PQ)モデルの両方に優れる。
  論文  参考訳（メタデータ） (2021-07-13T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。