論文の概要: WOW-Seg: A Word-free Open World Segmentation Model
- arxiv url: http://arxiv.org/abs/2605.16903v1
- Date: Sat, 16 May 2026 09:28:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.22956
- Title: WOW-Seg: A Word-free Open World Segmentation Model
- Title(参考訳): WOW-Seg: 単語のないオープンワールドセグメンテーションモデル
- Authors: Danyang Li, Tianhao Wu, Bin Li, Zhenyuan Chen, Yang Zhang, Yuxuan Li, Ming-Ming Cheng, Xiang Li,
- Abstract要約: 我々はWOW-Segを提案する。WOW-Segは、オープンセットのカテゴリからオブジェクトをセグメンテーションし、認識するための、ワードフリーのオープンワールドモデルである。
具体的には、WOW-Segは画像マスクを視覚トークンに変換する新しいビジュアルプロンプトモジュールMask2Tokenを導入した。
また、オープンワールド領域認識テストベンチマーク、リージョン認識データセットを構築した。
- 参考スコア(独自算出の注目度): 54.80135620139728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open world image segmentation aims to achieve precise segmentation and semantic understanding of targets within images by addressing the infinitely open set of object categories encountered in the real world. However, traditional closed-set segmentation approaches struggle to adapt to complex open world scenarios, while foundation segmentation models such as SAM exhibit notable discrepancies between their strong segmentation capabilities and relatively weaker semantic understanding. To bridge these discrepancies, we propose WOW-Seg, a Word-free Open World Segmentation model for segmenting and recognizing objects from open-set categories. Specifically, WOW-Seg introduces a novel visual prompt module, Mask2Token, which transforms image masks into visual tokens and ensures their alignment with the VLLM feature space. Moreover, we introduce the Cascade Attention Mask to decouple information across different instances. This approach mitigates inter-instance interference, leading to a significant improvement in model performance. We further construct an open world region recognition test benchmark: the Region Recognition Dataset (RR-7K). With 7,662 classes, it represents the most extensive category-rich region recognition dataset to date. WOW-Seg attains strong results on the LVIS dataset, achieving a semantic similarity of 89.7 and a semantic IoU of 82.4. This performance surpasses the previous SOTA while using only one-eighth the parameter count. These results underscore the strong open world generalization capabilities of WOW-Seg. The code and related resources are available at https://github.com/AAwcAA/WOW-Seg-Meta.
- Abstract(参考訳): オープンワールドイメージセグメンテーションは、現実世界で遭遇するオブジェクトカテゴリの無限にオープンな集合に対処することで、画像内のターゲットの正確なセグメンテーションと意味理解を実現することを目的としている。
しかし、従来のクローズドセットセグメンテーションアプローチは複雑なオープンワールドのシナリオに適応するのに苦労する一方で、SAMのような基盤セグメンテーションモデルは、その強力なセグメンテーション能力と比較的弱いセグメンテーション理解との間に顕著な違いを示す。
これらの違いを補うために,WOW-Segを提案する。WOW-Segは,オープンセットカテゴリからオブジェクトのセグメンテーションと認識を行う,ワードフリーなオープンワールドセグメンテーションモデルである。
具体的には、WOW-Segが新しいビジュアルプロンプトモジュールMask2Tokenを導入し、画像マスクをビジュアルトークンに変換し、VLLM機能空間との整合性を確保する。
さらに、カスケード注意マスクを導入し、異なるインスタンス間で情報を分離する。
このアプローチはインスタンス間干渉を緩和し、モデル性能を大幅に改善する。
さらに,地域認識データセット (RR-7K) というオープンワールド領域認識テストベンチマークを構築した。
7,662のクラスを持つこのクラスは、これまでで最も広範なカテゴリに富んだ地域認識データセットである。
WOW-SegはLVISデータセットの強い結果を得て、89.7のセマンティック類似性と、82.4のセマンティックIoUを達成する。
このパフォーマンスは、パラメータカウントの8分の1しか使用しながら、以前のSOTAを上回ります。
これらの結果は、WOW-Segの強力なオープンワールド一般化能力の基盤となっている。
コードと関連するリソースはhttps://github.com/AAwcAA/WOW-Seg-Meta.comで公開されている。
関連論文リスト
- OpenWorldSAM: Extending SAM2 for Universal Image Segmentation with Language Prompts [20.327695503392274]
OpenWorldSAMは,Segment Anything Model v2 (SAM2) をオープン語彙シナリオに拡張するフレームワークである。
OpenWorldSAMは、カテゴリレベルの言語記述や文レベルの言語記述など、さまざまなプロンプトをサポートしている。
我々は,新しい位置決め型タイブレーカー埋め込みとクロスアテンション層により,モデルの空間的理解を高める。
論文 参考訳(メタデータ) (2025-07-07T19:16:22Z) - RemoteSAM: Towards Segment Anything for Earth Observation [29.707796048411705]
我々は、地球観測のための頑健でフレキシブルな視覚基盤モデルを開発することを目指している。
多様な視覚的目標を認識し、位置を特定する能力を持つべきである。
いくつかの地球観測知覚ベンチマークで新しいSoTAを確立する基盤モデルであるRemoteSAMを提案する。
論文 参考訳(メタデータ) (2025-05-23T15:27:57Z) - Grounding Everything: Emerging Localization Properties in
Vision-Language Transformers [51.260510447308306]
事前学習された視覚言語(VL)モデルでは、微調整なしでゼロショットのオープン語彙オブジェクトローカライゼーションが可能であることを示す。
本稿では,CLIPSurgeryが自己注意経路に導入した価値価値注意の考え方を一般化するグラウンドング・エコノミクス・モジュール(GEM)を提案する。
セマンティックセグメンテーションのための様々なベンチマークタスクとデータセットに基づいて提案したGEMフレームワークを評価する。
論文 参考訳(メタデータ) (2023-12-01T19:06:12Z) - A Lightweight Clustering Framework for Unsupervised Semantic
Segmentation [28.907274978550493]
教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。
教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。
本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
論文 参考訳(メタデータ) (2023-11-30T15:33:42Z) - Towards Universal Vision-language Omni-supervised Segmentation [72.31277932442988]
オープンワールドセグメンテーションタスクを提案分類として扱うために,VLOSS(Vision-Language Omni-Supervised)を提案する。
我々は、オムニ教師付きデータ(例えば、汎視的セグメンテーションデータ、オブジェクト検出データ、画像とテキストのペアデータ)をトレーニングに活用し、オープンワールドセグメンテーション能力を強化する。
Swin-Tiny を用いた VLOSS はパラメータが少ないため,LVIS v1 データセットのマスク AP では MaskCLIP を 2% 上回っている。
論文 参考訳(メタデータ) (2023-03-12T02:57:53Z) - Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From
Learned Pairwise Affinity [59.1823948436411]
我々は、マスク提案のための新しいアプローチ、ジェネリックグループネットワーク(GGN)を提案する。
我々のアプローチは、ピクセル親和性の局所測定とインスタンスレベルのマスク監視を組み合わせることで、データの多様性が許容するほど汎用的なモデルを設計したトレーニングレギュレータを生成する。
論文 参考訳(メタデータ) (2022-04-12T22:37:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。