論文の概要: SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understanding

• arxiv url: http://arxiv.org/abs/2310.15308v4
• Date: Mon, 10 Jun 2024 19:19:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 00:58:30.831360
• Title: SAM-CLIP: Merging Vision Foundation Models towards Semantic and Spatial Understanding
• Title（参考訳）: SAM-CLIP:意味的・空間的理解に向けた視覚基礎モデルの融合
• Authors: Haoxiang Wang, Pavan Kumar Anasosalu Vasu, Fartash Faghri, Raviteja Vemulapalli, Mehrdad Farajtabar, Sachin Mehta, Mohammad Rastegari, Oncel Tuzel, Hadi Pouransari,
• Abstract要約: 一般公開されたビジョンファウンデーションモデル(VFM)の展望は急速に拡大している。 我々は,VFMを効率よく統合したモデルにマージする簡単なレシピを導入し,その専門知識を吸収する。 本手法をSAMおよびCLIPに適用することにより,SAMとCLIPの機能を組み合わせた一元モデルであるSAM-CLIPを単一視覚変換器に適用する。
• 参考スコア（独自算出の注目度）: 40.40630116715132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The landscape of publicly available vision foundation models (VFMs), such as CLIP and Segment Anything Model (SAM), is expanding rapidly. VFMs are endowed with distinct capabilities stemming from their pre-training objectives. For instance, CLIP excels in semantic understanding, while SAM specializes in spatial understanding for segmentation. In this work, we introduce a simple recipe to efficiently merge VFMs into a unified model that absorbs their expertise. Our method integrates techniques of multi-task learning, continual learning, and distillation. Further, it demands significantly less computational cost compared to traditional multi-task training from scratch, and it only needs a small fraction of the pre-training datasets that were initially used to train individual models. By applying our method to SAM and CLIP, we obtain SAM-CLIP: a unified model that combines the capabilities of SAM and CLIP into a single vision transformer. Compared with deploying SAM and CLIP independently, our merged model, SAM-CLIP, reduces storage and compute costs for inference, making it well-suited for edge device applications. We show that SAM-CLIP not only retains the foundational strengths of SAM and CLIP, but also introduces synergistic functionalities, notably in zero-shot semantic segmentation, where SAM-CLIP establishes new state-of-the-art results on 5 benchmarks. It outperforms previous models that are specifically designed for this task by a large margin, including +6.8% and +5.9% mean IoU improvement on Pascal-VOC and COCO-Stuff datasets, respectively.
• Abstract（参考訳）: CLIP や Segment Anything Model (SAM) など,一般公開されたビジョンファウンデーションモデル (VFM) の展望は急速に拡大している。 VFMには、訓練済みの目標から派生した、異なる能力が与えられている。 例えば、CLIPはセグメンテーションの空間的理解に特化しているのに対し、SAMはセグメンテーションの空間的理解に特化している。 本研究では,VFMを効率よく統合したモデルにマージする簡単なレシピを提案する。 本手法は,マルチタスク学習,連続学習,蒸留技術を統合する。 さらに、スクラッチから行う従来のマルチタスクトレーニングに比べて計算コストが大幅に削減され、個々のモデルのトレーニングに使用された事前トレーニングデータセットのごく一部しか必要としない。 本手法をSAMおよびCLIPに適用することにより,SAMとCLIPの機能を組み合わせた一元モデルであるSAM-CLIPを単一視覚変換器に適用する。 SAMとCLIPを独立してデプロイするのに対し、SAM-CLIPという統合モデルでは、推論のストレージと計算コストを削減し、エッジデバイスアプリケーションに適しています。 SAM-CLIPはSAMとCLIPの基礎的強みを保っているだけでなく、特にゼロショットセマンティックセマンティックセグメンテーションにおいて相乗的機能を導入し、SAM-CLIPは5つのベンチマークで新しい最先端結果を確立している。 6.8%、+5.9%はPascal-VOCとCOCO-StuffのデータセットのIoUの改善を意味している。

関連論文リスト

• AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
  Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。 オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:39Z)
• ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
  本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。 我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。 本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
  論文  参考訳（メタデータ） (2024-05-01T00:13:05Z)
• PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
  PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。 本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:03Z)
• WSI-SAM: Multi-resolution Segment Anything Model (SAM) for histopathology whole-slide images [8.179859593451285]
  病理画像の正確なオブジェクト分割機能を備えたWSI-SAM, Segment Anything Model (SAM) を提案する。 トレーニングオーバーヘッドを最小限にしながら、トレーニング済みの知識を完全に活用するために、SAMは凍結し、最小限のパラメータしか導入しません。 本モデルでは, 膵管癌 in situ (DCIS) セグメンテーションタスクと乳癌転移セグメンテーションタスクにおいて, SAMを4.1, 2.5パーセント上回った。
  論文  参考訳（メタデータ） (2024-03-14T10:30:43Z)
• ClipSAM: CLIP and SAM Collaboration for Zero-Shot Anomaly Segmentation [5.376142948115328]
  本稿では,ZSASのためのCLIPおよびSAM協調フレームワークであるClipSAMを提案する。 ClipSAMの背後にある洞察は、CLIPのセマンティック理解機能を、異常なローカライゼーションと粗いセグメンテーションに活用することである。 本稿では,視覚的特徴と対話するためのUMCI(Unified Multi-scale Cross-modal Interaction)モジュールについて述べる。
  論文  参考訳（メタデータ） (2024-01-23T11:20:03Z)
• Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively [74.14385081185459]
  Open-Vocabulary SAMはSAMにインスパイアされたモデルであり、対話的なセグメンテーションと認識のために設計されている。 約22,000のクラスを分類・認識できる。
  論文  参考訳（メタデータ） (2024-01-05T18:59:22Z)
• TinySAM: Pushing the Envelope for Efficient Segment Anything Model [76.21007576954035]
  我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。 本研究は,まず,軽量学生モデルを蒸留するためのハードプロンプトサンプリングとハードマスク重み付け戦略を用いた,フルステージの知識蒸留法を提案する。 また、学習後の量子化を高速化可能なセグメンテーションタスクに適用し、計算コストをさらに削減する。
  論文  参考訳（メタデータ） (2023-12-21T12:26:11Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。