論文の概要: Hybrid Global-Local Representation with Augmented Spatial Guidance for Zero-Shot Referring Image Segmentation

• arxiv url: http://arxiv.org/abs/2504.00356v1
• Date: Tue, 01 Apr 2025 02:13:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:39.818195
• Title: Hybrid Global-Local Representation with Augmented Spatial Guidance for Zero-Shot Referring Image Segmentation
• Title（参考訳）: ゼロショット参照画像セグメンテーションのための拡張空間誘導を用いたハイブリッドグローバルローカル表現
• Authors: Ting Liu, Siyuan Li,
• Abstract要約: 本研究では,周辺地域の文脈情報と詳細なマスク特化特徴を統合した,訓練不要でハイブリッドなグローバルな特徴抽出手法を提案する。 標準RISベンチマーク実験により,本手法は既存のゼロショットRISモデルよりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 30.213330400785747
• License:
• Abstract: Recent advances in zero-shot referring image segmentation (RIS), driven by models such as the Segment Anything Model (SAM) and CLIP, have made substantial progress in aligning visual and textual information. Despite these successes, the extraction of precise and high-quality mask region representations remains a critical challenge, limiting the full potential of RIS tasks. In this paper, we introduce a training-free, hybrid global-local feature extraction approach that integrates detailed mask-specific features with contextual information from the surrounding area, enhancing mask region representation. To further strengthen alignment between mask regions and referring expressions, we propose a spatial guidance augmentation strategy that improves spatial coherence, which is essential for accurately localizing described areas. By incorporating multiple spatial cues, this approach facilitates more robust and precise referring segmentation. Extensive experiments on standard RIS benchmarks demonstrate that our method significantly outperforms existing zero-shot RIS models, achieving substantial performance gains. We believe our approach advances RIS tasks and establishes a versatile framework for region-text alignment, offering broader implications for cross-modal understanding and interaction. Code is available at https://github.com/fhgyuanshen/HybridGL .
• Abstract（参考訳）: SAM(Segment Anything Model)やCLIP(CLIP)などのモデルによって駆動されるゼロショット参照画像分割(RIS)の最近の進歩は、視覚情報とテキスト情報の整合性に大きな進歩をもたらした。 これらの成功にもかかわらず、高精度で高品質なマスク領域表現の抽出は、RISタスクの完全な可能性を制限する重要な課題である。 本稿では, 周辺地域からのコンテキスト情報と詳細なマスク特化特徴を統合し, マスク領域表現の強化を目的とした, トレーニングフリーでハイブリッドなグローバルな特徴抽出手法を提案する。 マスク領域と参照表現のアライメントをさらに強化するため,説明領域の正確な位置決めに不可欠な空間コヒーレンスを改善する空間誘導増強戦略を提案する。 複数の空間的手がかりを取り入れることで、このアプローチはより堅牢で正確な参照セグメンテーションを促進する。 標準RISベンチマークの大規模な実験により,本手法は既存のゼロショットRISモデルよりも大幅に優れ,性能向上を実現していることが示された。 我々は、我々のアプローチがRISタスクを前進させ、領域テキストアライメントのための汎用的なフレームワークを確立し、クロスモーダルな理解と相互作用に広く影響すると考えている。 コードはhttps://github.com/fhgyuanshen/HybridGLで入手できる。

関連論文リスト

• HoliSDiP: Image Super-Resolution via Holistic Semantics and Diffusion Prior [62.04939047885834]
  本稿では,意味的セグメンテーションを活用するフレームワークであるHoliSDiPについて述べる。 本手法では, セグメンテーションマスクと空間CLIPマップを用いて, セグメンテーションガイダンスを導入しながら, セグメンテーションラベルを簡潔なテキストプロンプトとして利用する。
  論文  参考訳（メタデータ） (2024-11-27T15:22:44Z)
• Region-aware Distribution Contrast: A Novel Approach to Multi-Task Partially Supervised Learning [50.88504784466931]
  マルチタスク密度予測にはセマンティックセグメンテーション、深さ推定、表面正規推定が含まれる。 既存のソリューションは通常、グローバルなクロスタスク画像マッチングのためのグローバルなイメージ表現の学習に依存している。 本提案では,ガウス分布を用いた地域表現をモデル化する。
  論文  参考訳（メタデータ） (2024-03-15T12:41:30Z)
• RegionGPT: Towards Region Understanding Vision Language Model [88.42271128373191]
  RegionGPT(RGPT)は、複雑な地域レベルのキャプションと理解のために設計された新しいフレームワークである。 我々は、詳細な地域レベルのキャプションを備えたトレーニングセットを充実させる、自動領域キャプションデータ生成パイプラインを開発する。 本研究では,領域レベルのタスクに対して,汎用的なRGPTモデルを効果的に適用し,性能を大幅に向上させることを実証する。
  論文  参考訳（メタデータ） (2024-03-04T18:58:08Z)
• Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
  Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。 従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。 本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
  論文  参考訳（メタデータ） (2023-12-19T08:14:14Z)
• Progressive Feature Self-reinforcement for Weakly Supervised Semantic Segmentation [55.69128107473125]
  Weakly Supervised Semantic (WSSS) のイメージレベルラベルを用いたシングルステージアプローチを提案する。 我々は、画像内容が決定論的領域(例えば、自信ある前景と背景)と不確実領域(例えば、オブジェクト境界と誤分類されたカテゴリ)に適応的に分割して、別々の処理を行う。 そこで我々は,これらの自信のある領域と同一のクラスラベルを持つ拡張画像とのセマンティック一貫性を制約する補完的な自己強調手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:21:52Z)
• Towards Generalizable Referring Image Segmentation via Target Prompt and Visual Coherence [48.659338080020746]
  Referring Image segmentation (RIS) は、自由なテキスト記述に基づいて画像条件でオブジェクトを分割することを目的としている。 本稿では,先述の2つのジレンマに対処することにより,一般化能力を大幅に向上させる新しいRISアプローチを提案する。 特に、制約のないテキストを扱うために、明示的で決定的なプロンプトで与えられた表現を増強し、統一された文脈での表現を補完することを提案する。
  論文  参考訳（メタデータ） (2023-12-01T09:31:24Z)
• CM-MaskSD: Cross-Modality Masked Self-Distillation for Referring Image Segmentation [29.885991324519463]
  本稿では,CM-MaskSD という新しいクロスモーダルマスク型自己蒸留フレームワークを提案する。 提案手法は,CLIPモデルから画像テキストセマンティックアライメントの伝達知識を継承し,きめ細かいパッチワード特徴アライメントを実現する。 我々のフレームワークはパラメータフリーに近い方法でモデル性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-19T07:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。