論文の概要: MROVSeg: Breaking the Resolution Curse of Vision-Language Models in Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2408.14776v1
• Date: Tue, 27 Aug 2024 04:45:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 15:04:48.447813
• Title: MROVSeg: Breaking the Resolution Curse of Vision-Language Models in Open-Vocabulary Semantic Segmentation
• Title（参考訳）: MROVSeg: 開語彙セマンティックセマンティックセグメンテーションにおける視覚言語モデルの分解曲線を破る
• Authors: Yuanbing Zhu, Bingke Zhu, Zhen Chen, Huan Xu, Ming Tang, Jinqiao Wang,
• Abstract要約: オープン語彙セマンティックセマンティックセグメンテーションのためのマルチレゾリューション・トレーニング・フレームワークを提案する。 MROVSegはスライディングウィンドウを使用して高解像度の入力を均一なパッチにスライスし、それぞれがよく訓練されたイメージエンコーダの入力サイズと一致する。 オープン語彙セマンティックセグメンテーションベンチマークにおけるMROVSegの優位性を実証する。
• 参考スコア（独自算出の注目度）: 33.67313662538398
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-vocabulary semantic segmentation aims to segment and recognize semantically meaningful regions based on text-based descriptions during inference. A typical solution to address this task is to leverage powerful vision-language models (VLMs), such as CLIP, to bridge the gap between open- and close-vocabulary recognition. As VLMs are usually pretrained with low-resolution images (e.g. $224\times224$), most previous methods operate only on downscaled images. We question this design as low resolution features often fail to preserve fine details. Although employing additional image backbones for high-resolution inputs can mitigate this issue, it may also introduce significant computation overhead. Therefore, we propose MROVSeg, a multi-resolution training framework for open-vocabulary semantic segmentation with a single pretrained CLIP backbone, that uses sliding windows to slice the high-resolution input into uniform patches, each matching the input size of the well-trained image encoder. Its key components include a Multi-Res Adapter, which restores the spatial geometry and grasps local-global correspondences across patches by learnable convolutional and scale attention layers. To achieve accurate segmentation, we introduce Multi-grained Masked Attention scheme to aggregate multi-grained semantics by performing cross-attention between object queries and multi-resolution CLIP features within the region of interests. Through comprehensive experiments, we demonstrate the superiority of MROVSeg on well-established open-vocabulary semantic segmentation benchmarks, particularly for high-resolution inputs, establishing new standards for open-vocabulary semantic segmentation.
• Abstract（参考訳）: Open-vocabulary semantic segmentationは、推論中にテキストベースの記述に基づいて意味のある領域を分類し、認識することを目的としている。 この課題に対処する典型的な解決策は、CLIPのような強力な視覚言語モデル(VLM)を活用して、オープン語彙とクローズボキャブラリ認識のギャップを埋めることである。 VLMは通常、低解像度の画像(例:224\times 224$)で事前訓練されるため、従来の手法のほとんどはダウンスケールの画像のみで動作する。 低解像度の機能は細部を保存できないことが多いので、この設計に疑問を呈する。 高解像度入力に画像バックボーンを追加することでこの問題を軽減できるが、計算オーバーヘッドが大幅に増加する可能性がある。 そこで,MROVSegは1つの事前訓練されたCLIPバックボーンによるオープン語彙セマンティックセマンティックセマンティクスのためのマルチレゾルトレーニングフレームワークで,スライディングウィンドウを用いて高精細な入力を均一なパッチに分割し,よく訓練された画像エンコーダの入力サイズを一致させる。 鍵となるコンポーネントは、空間幾何学を復元し、学習可能な畳み込み層とスケールアテンション層によってパッチ間の局所的言語対応を把握するマルチレゾアダプタである。 関心領域内でオブジェクトクエリと多精細CLIP機能間の相互アテンションを実行することで,多精細なセマンティクスを集約するマルチグラデーション・マスキード・アテンション・スキームを導入する。 包括的実験を通じて、MROVSegが確立されたオープン語彙セマンティックセマンティックセマンティクスベンチマークにおいて、特に高精細な入力に対して優位性を示し、オープン語彙セマンティクスセマンティクスセマンティクスの新たな標準を確立する。

関連論文リスト

• InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
  InvSegはセマンティックセグメンテーションのためのテストタイムプロンプトインバージョンメソッドである。 コントラストソフトクラスタリングを導入し,マスクを画像の構造情報と整合させる。 InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
  論文  参考訳（メタデータ） (2024-10-15T10:20:31Z)
• Towards Open-Vocabulary Semantic Segmentation Without Semantic Labels [53.8817160001038]
  画素レベルの理解にCLIP画像エンコーダを適用する新しい手法であるPixelCLIPを提案する。 セマンティックラベルを使わずにマスクを活用するという課題に対処するため,オンラインクラスタリングアルゴリズムを考案した。 PixelCLIPはCLIPよりも大幅にパフォーマンスが向上し、キャプション管理手法に比べて競合性が向上した。
  論文  参考訳（メタデータ） (2024-09-30T01:13:03Z)
• Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
  本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。 本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
  論文  参考訳（メタデータ） (2024-02-04T16:06:05Z)
• SemPLeS: Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [36.41778553250247]
  Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。 本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。 SemPLeSはオブジェクト領域と関連するクラスラベル間のセマンティックアライメントを改善することができる。
  論文  参考訳（メタデータ） (2024-01-22T09:41:05Z)
• MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
  セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。 我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。 マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
  論文  参考訳（メタデータ） (2023-08-09T09:35:16Z)
• A Simple Framework for Open-Vocabulary Segmentation and Detection [85.21641508535679]
  我々は,異なるセグメンテーションと検出データセットから共同で学習する,シンプルなオープン語彙検出フレームワークOpenSeeDを提案する。 まず、事前学習されたテキストエンコーダを導入し、視覚概念を2つのタスクにエンコードし、それらの共通意味空間を学習する。 プレトレーニング後,本モデルでは,セグメンテーションと検出の両方において,競争力あるいは強いゼロショット転送性を示す。
  論文  参考訳（メタデータ） (2023-03-14T17:58:34Z)
• Progressively Dual Prior Guided Few-shot Semantic Segmentation [57.37506990980975]
  Few-shotのセマンティックセマンティックセマンティクスタスクは、いくつかのアノテーション付きサポートサンプルを使用して、クエリイメージのセマンティクスを実行することを目的としている。 本稿では,先進的に2重にガイドされた数発のセマンティックセマンティックセグメンテーションネットワークを提案する。
  論文  参考訳（メタデータ） (2022-11-20T16:19:47Z)
• AF$_2$: Adaptive Focus Framework for Aerial Imagery Segmentation [86.44683367028914]
  航空画像のセグメンテーションにはいくつかの独特な課題があり、中でも最も重要なものは前景と背景のアンバランスにある。 本稿では,階層的なセグメンテーション手法を採用し,マルチスケール表現を適応的に活用するAdaptive Focus Framework (AF$)を提案する。 AF$は、広く使われている3つの航空ベンチマークの精度を大幅に改善した。
  論文  参考訳（メタデータ） (2022-02-18T10:14:45Z)
• Unsupervised segmentation via semantic-apparent feature fusion [21.75371777263847]
  本研究では,意味親和性特徴融合(SAFF)に基づく教師なし前景セグメンテーション手法を提案する。 前景オブジェクトのキー領域はセマンティック機能によって正確に応答できる。 意味的特徴と明らかな特徴を融合させ、画像内適応的特徴量学習と画像間共通特徴学習のモジュールをカスケードすることにより、ベースラインをはるかに超える性能を達成する。
  論文  参考訳（メタデータ） (2020-05-21T08:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。