Fugu-MT 論文翻訳(概要): Towards Fine-grained Interactive Segmentation in Images and Videos

論文の概要: Towards Fine-grained Interactive Segmentation in Images and Videos

arxiv url: http://arxiv.org/abs/2502.09660v1
Date: Wed, 12 Feb 2025 06:38:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-17 14:44:35.089558
Title: Towards Fine-grained Interactive Segmentation in Images and Videos
Title（参考訳）: 映像・映像におけるきめ細かい対話的セグメンテーションを目指して
Authors: Yuan Yao, Qiushi Yang, Miaomiao Cui, Liefeng Bo,
Abstract要約: SAM2のバックボーン上に構築されたSAM2Refinerフレームワークを提案する。このアーキテクチャによりSAM2は、画像とビデオの両方のきめ細かいセグメンテーションマスクを生成することができる。さらに,マルチスケールのカスケード構造を用いてマスク特徴とエンコーダの階層的表現を融合させることによりマスクリファインメントモジュールを考案した。
参考スコア（独自算出の注目度）: 21.22536962888316
License:
Abstract: The recent Segment Anything Models (SAMs) have emerged as foundational visual models for general interactive segmentation. Despite demonstrating robust generalization abilities, they still suffer performance degradations in scenarios demanding accurate masks. Existing methods for high-precision interactive segmentation face a trade-off between the ability to perceive intricate local details and maintaining stable prompting capability, which hinders the applicability and effectiveness of foundational segmentation models. To this end, we present an SAM2Refiner framework built upon the SAM2 backbone. This architecture allows SAM2 to generate fine-grained segmentation masks for both images and videos while preserving its inherent strengths. Specifically, we design a localization augment module, which incorporates local contextual cues to enhance global features via a cross-attention mechanism, thereby exploiting potential detailed patterns and maintaining semantic information. Moreover, to strengthen the prompting ability toward the enhanced object embedding, we introduce a prompt retargeting module to renew the embedding with spatially aligned prompt features. In addition, to obtain accurate high resolution segmentation masks, a mask refinement module is devised by employing a multi-scale cascaded structure to fuse mask features with hierarchical representations from the encoder. Extensive experiments demonstrate the effectiveness of our approach, revealing that the proposed method can produce highly precise masks for both images and videos, surpassing state-of-the-art methods.
Abstract（参考訳）: 最近のSegment Anything Models (SAM) は、一般的な対話的セグメンテーションのための基本的な視覚モデルとして登場した。堅牢な一般化能力を示すにもかかわらず、正確なマスクを必要とするシナリオでは、パフォーマンスが低下する。既存の高精度対話型セグメンテーションの方法は、局所的な詳細を知覚する能力と安定したプロンプト能力とのトレードオフに直面しており、基礎的セグメンテーションモデルの適用性と有効性を妨げている。この目的のために、SAM2のバックボーン上に構築されたSAM2Refinerフレームワークを紹介します。このアーキテクチャによりSAM2は、その固有の強度を保ちながら、画像とビデオの両方のきめ細かいセグメンテーションマスクを生成することができる。具体的には、局所的な文脈的手がかりを取り入れたローカライゼーション拡張モジュールを設計し、クロスアテンション機構を通じてグローバルな機能を強化し、潜在的な詳細なパターンを活用し、セマンティック情報を維持する。さらに,拡張オブジェクト埋め込みに向けたプロンプト機能を強化するために,空間的に整列したプロンプト機能で組込みを更新するプロンプトリターゲットモジュールを導入する。また、高精度な高分解能セグメンテーションマスクを得るために、マルチスケールのカスケード構造を用いてマスク特徴とエンコーダの階層表現を融合させることによりマスクリファインメントモジュールを考案した。広範に実験を行った結果,提案手法は画像とビデオの両方に高精度なマスクを生成でき,最先端の手法を超越できることがわかった。

関連論文リスト

Masked Image Modeling Boosting Semi-Supervised Semantic Segmentation [38.55611683982936]
クラスごとに異なる画像領域を独立に再構成する新しいクラスワイド・マスク画像モデリングを提案する。我々は,同一クラス内のマスキングと可視部分に対応する特徴間の距離を最小化する特徴集約戦略を開発する。セマンティック空間において、正規化を強化するマスク付き画像モデリングの適用について検討する。
論文参考訳（メタデータ） (2024-11-13T16:42:07Z)
Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
論文参考訳（メタデータ） (2024-08-05T08:35:59Z)
PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-14T17:55:03Z)
Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
論文参考訳（メタデータ） (2024-02-04T16:06:05Z)
Spatial Structure Constraints for Weakly Supervised Semantic Segmentation [100.0316479167605]
クラスアクティベーションマップ(CAM)は、オブジェクトの最も識別性の高い部分のみを見つけることができる。注意伸縮の余剰なオブジェクトの過剰な活性化を軽減するために,弱い教師付きセマンティックセマンティックセグメンテーションのための空間構造制約(SSC)を提案する。提案手法は,PASCAL VOC 2012とCOCOデータセットでそれぞれ72.7%,47.0%mIoUを達成した。
論文参考訳（メタデータ） (2024-01-20T05:25:25Z)
RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文参考訳（メタデータ） (2023-07-03T13:21:58Z)
CM-MaskSD: Cross-Modality Masked Self-Distillation for Referring Image Segmentation [29.885991324519463]
本稿では,CM-MaskSD という新しいクロスモーダルマスク型自己蒸留フレームワークを提案する。提案手法は,CLIPモデルから画像テキストセマンティックアライメントの伝達知識を継承し,きめ細かいパッチワード特徴アライメントを実現する。我々のフレームワークはパラメータフリーに近い方法でモデル性能を大幅に向上させることができる。
論文参考訳（メタデータ） (2023-05-19T07:17:27Z)
BoundarySqueeze: Image Segmentation as Boundary Squeezing [104.43159799559464]
本研究では,オブジェクトとシーンの微細な高画質画像分割のための新しい手法を提案する。形態素画像処理技術による拡張と浸食に着想を得て,画素レベルのセグメンテーション問題をスクイーズ対象境界として扱う。提案手法は,COCO,Cityscapesのインスタンス・セグメンテーション・セグメンテーション・セグメンテーションにおいて大きく向上し,同一条件下での精度・速度ともに従来のPointRendよりも優れていた。
論文参考訳（メタデータ） (2021-05-25T04:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。