Fugu-MT 論文翻訳(概要): SCHNet: SAM Marries CLIP for Human Parsing

論文の概要: SCHNet: SAM Marries CLIP for Human Parsing

arxiv url: http://arxiv.org/abs/2503.22237v1
Date: Fri, 28 Mar 2025 08:40:06 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-31 15:29:33.559279
Title: SCHNet: SAM Marries CLIP for Human Parsing
Title（参考訳）: SCHNet:SAMが人間構文解析のためのCLIPを結婚
Authors: Kunliang Liu, Jianming Wang, Rize Jin, Wonjun Hwang, Tae-Sun Chung,
Abstract要約: Segment Anything Model (SAM) と Contrastive Language-Image Pre-Training Model (CLIP) は,セグメンテーションおよび検出タスクにおいて有望な性能を示した。我々は、SAMとCLIPの機能を効果的に統合し、人間の解析に役立てるために、高効率なモジュールを定式化する。
参考スコア（独自算出の注目度）: 11.299133502596517
License:
Abstract: Vision Foundation Model (VFM) such as the Segment Anything Model (SAM) and Contrastive Language-Image Pre-training Model (CLIP) has shown promising performance for segmentation and detection tasks. However, although SAM excels in fine-grained segmentation, it faces major challenges when applying it to semantic-aware segmentation. While CLIP exhibits a strong semantic understanding capability via aligning the global features of language and vision, it has deficiencies in fine-grained segmentation tasks. Human parsing requires to segment human bodies into constituent parts and involves both accurate fine-grained segmentation and high semantic understanding of each part. Based on traits of SAM and CLIP, we formulate high efficient modules to effectively integrate features of them to benefit human parsing. We propose a Semantic-Refinement Module to integrate semantic features of CLIP with SAM features to benefit parsing. Moreover, we formulate a high efficient Fine-tuning Module to adjust the pretrained SAM for human parsing that needs high semantic information and simultaneously demands spatial details, which significantly reduces the training time compared with full-time training and achieves notable performance. Extensive experiments demonstrate the effectiveness of our method on LIP, PPP, and CIHP databases.
Abstract（参考訳）: Segment Anything Model (SAM) や Contrastive Language- Image Pre-Training Model (CLIP) のような視覚基礎モデル (VFM) は、セグメンテーションと検出タスクにおいて有望な性能を示している。しかし、SAMは細粒度セグメンテーションに優れているが、セグメンテーションにそれを適用する際には大きな課題に直面している。 CLIPは、言語とビジョンのグローバル機能を調整することで、強力なセマンティック理解能力を持っているが、きめ細かいセグメンテーションタスクには欠陥がある。人間のパーシングは、人体を構成部分に分割し、精密なきめ細かなセグメンテーションと各部分の高度な意味的理解の両方を必要とする。 SAMとCLIPの特性に基づいて、高効率なモジュールを定式化し、それらの機能を効果的に統合し、人間の解析に役立てる。本稿では,CLIPのセマンティック機能とSAM機能を統合するセマンティック・リファインメント・モジュールを提案する。さらに,高効率なファインチューニングモジュールを定式化し,高い意味情報を必要とする人間の構文解析のための事前学習SAMを調整し,空間的詳細を同時に要求することで,フルタイムトレーニングと比較してトレーニング時間を著しく短縮し,顕著なパフォーマンスを実現する。大規模な実験により, LIP, PPP, CIHPデータベースにおける本手法の有効性が示された。

関連論文リスト

Cross-Domain Semantic Segmentation with Large Language Model-Assisted Descriptor Generation [0.0]
LangSegはコンテキストに敏感できめ細かいサブクラス記述子を利用する新しいセマンティックセマンティックセマンティクス手法である。我々はLangSegをADE20KとCOCO-Stuffという2つの挑戦的なデータセットで評価し、最先端のモデルよりも優れています。
論文参考訳（メタデータ） (2025-01-27T20:02:12Z)
Effective SAM Combination for Open-Vocabulary Semantic Segmentation [24.126307031048203]
Open-vocabulary semantic segmentationは、無制限のクラスにわたる画像にピクセルレベルのラベルを割り当てることを目的としている。 ESC-Netは、SAMデコーダブロックを利用してクラスに依存しないセグメンテーションを行う新しい1段オープン語彙セグメンテーションモデルである。 ESC-NetはADE20K、PASCAL-VOC、PASCAL-Contextなどの標準ベンチマークで優れたパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-11-22T04:36:12Z)
Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
論文参考訳（メタデータ） (2024-09-23T19:05:50Z)
PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model [49.80313655590392]
PSALMは、セグメント化タスクの課題に対処するため、LMM(Large Multi-modal Model)の強力な拡張である。マスクデコーダとよく設計された入力スキーマを組み込んで,さまざまなセグメンテーションタスクを処理する。 PSALMの柔軟な設計は、複数のデータセットとタスクのジョイントトレーニングをサポートし、パフォーマンスとタスクの一般化を改善している。
論文参考訳（メタデータ） (2024-03-21T17:50:47Z)
PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-14T17:55:03Z)
Task-Specific Adaptation of Segmentation Foundation Model via Prompt Learning [7.6136466242670435]
本稿では,Segment Anything Model(SAM)に適合した即時学習によるセグメンテーション基礎モデルのタスク固有適応を提案する。本手法は,入力プロンプトを組込み空間に調整し,目的タスクの特異性に適合させるプロンプト学習モジュールを含む。様々なセグメンテーションシナリオに対する実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2024-03-14T09:13:51Z)
ClipSAM: CLIP and SAM Collaboration for Zero-Shot Anomaly Segmentation [5.376142948115328]
本稿では,ZSASのためのCLIPおよびSAM協調フレームワークであるClipSAMを提案する。 ClipSAMの背後にある洞察は、CLIPのセマンティック理解機能を、異常なローカライゼーションと粗いセグメンテーションに活用することである。本稿では,視覚的特徴と対話するためのUMCI(Unified Multi-scale Cross-modal Interaction)モジュールについて述べる。
論文参考訳（メタデータ） (2024-01-23T11:20:03Z)
Semantic-aware SAM for Point-Prompted Instance Segmentation [29.286913777078116]
本稿では,Segment Anything (SAM) を用いた費用対効果の高いカテゴリー別セグメンタを提案する。この課題に対処するために、複数のインスタンス学習(MIL)と整合性を備えたSAMとポイントプロンプトを備えたセマンティック・アウェア・インスタンスネットワーク(SAPNet)を開発した。 SAPNetはSAMによって生成される最も代表的なマスクの提案を戦略的に選択し、セグメンテーションを監督する。
論文参考訳（メタデータ） (2023-12-26T05:56:44Z)
Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文参考訳（メタデータ） (2023-07-10T17:59:40Z)
RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
論文参考訳（メタデータ） (2023-07-03T13:21:58Z)
Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文参考訳（メタデータ） (2022-10-17T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。