論文の概要: Inspiring the Next Generation of Segment Anything Models: Comprehensively Evaluate SAM and SAM 2 with Diverse Prompts Towards Context-Dependent Concepts under Different Scenes

• arxiv url: http://arxiv.org/abs/2412.01240v1
• Date: Mon, 02 Dec 2024 08:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:45:20.656485
• Title: Inspiring the Next Generation of Segment Anything Models: Comprehensively Evaluate SAM and SAM 2 with Diverse Prompts Towards Context-Dependent Concepts under Different Scenes
• Title（参考訳）: 次世代セグメンションモデル:異なる場面におけるコンテキスト依存概念に向けての多角的プロンプトによるSAMとSAM 2の総合的評価
• Authors: Xiaoqi Zhao, Youwei Pang, Shijie Chang, Yuan Zhao, Lihe Zhang, Huchuan Lu, Jinsong Ouyang, Georges El Fakhri, Xiaofeng Liu,
• Abstract要約: 基礎モデルSAMはコンピュータビジョンの複数の分野に影響を与えており、そのアップグレード版SAM 2はビデオセグメンテーションの能力を高めている。 SAMは、人、車、道路といったコンテキストに依存しない概念のセグメンテーションにおいて優れたパフォーマンスを示してきたが、視覚的サリエンシ、カモフラージュ、製品欠陥、医学的障害など、より困難なコンテキスト依存(CD)の概念を見落としている。 自然, 医療, 産業のシーンにおいて, 11枚のCDのコンセプトを2D, 3D画像, ビデオで徹底的に定量的に評価する。
• 参考スコア（独自算出の注目度）: 63.966251473172036
• License:
• Abstract: As a foundational model, SAM has significantly influenced multiple fields within computer vision, and its upgraded version, SAM 2, enhances capabilities in video segmentation, poised to make a substantial impact once again. While SAMs (SAM and SAM 2) have demonstrated excellent performance in segmenting context-independent concepts like people, cars, and roads, they overlook more challenging context-dependent (CD) concepts, such as visual saliency, camouflage, product defects, and medical lesions. CD concepts rely heavily on global and local contextual information, making them susceptible to shifts in different contexts, which requires strong discriminative capabilities from the model. The lack of comprehensive evaluation of SAMs limits understanding of their performance boundaries, which may hinder the design of future models. In this paper, we conduct a thorough quantitative evaluation of SAMs on 11 CD concepts across 2D and 3D images and videos in various visual modalities within natural, medical, and industrial scenes. We develop a unified evaluation framework for SAM and SAM 2 that supports manual, automatic, and intermediate self-prompting, aided by our specific prompt generation and interaction strategies. We further explore the potential of SAM 2 for in-context learning and introduce prompt robustness testing to simulate real-world imperfect prompts. Finally, we analyze the benefits and limitations of SAMs in understanding CD concepts and discuss their future development in segmentation tasks. This work aims to provide valuable insights to guide future research in both context-independent and context-dependent concepts segmentation, potentially informing the development of the next version - SAM 3.
• Abstract（参考訳）: 基礎モデルとして、SAMはコンピュータビジョン内の複数の分野に大きな影響を与え、そのアップグレードされたSAM 2は、ビデオセグメンテーションの能力を向上し、再び大きな影響を与える可能性がある。 SAM(SAMとSAM2)は、人、車、道路など、文脈に依存しない概念のセグメンテーションにおいて優れた性能を示してきたが、視覚障害者、カモフラージュ、製品欠陥、医療障害など、より困難な文脈依存(CD)概念を見落としている。 CDの概念は、グローバルな文脈情報とローカルな文脈情報に大きく依存しているため、異なるコンテキストのシフトの影響を受けやすい。 SAMの包括的な評価の欠如はパフォーマンス境界の理解を制限し、将来のモデルの設計を妨げる可能性がある。 本稿では, 自然, 医療, 産業のシーンにおいて, 11のCD概念を2次元, 3次元の映像, ビデオに比較して, SAMを定量的に評価する。 SAM と SAM 2 の統一評価フレームワークを開発し,手動,自動,中間的な自己プロンプトを支援する。 さらに,インコンテキスト学習におけるSAM 2の可能性を探り,実世界の不完全なプロンプトをシミュレートするための即時ロバストネステストを導入する。 最後に,CD概念の理解におけるSAMのメリットと限界を分析し,セグメンテーションタスクにおける今後の発展について議論する。 この研究は、コンテキストに依存しないコンセプトセグメンテーションとコンテキストに依存したコンセプトセグメンテーションの両方における将来の研究をガイドするための貴重な洞察を提供することを目的としている。

関連論文リスト

• Unleashing the Potential of SAM2 for Biomedical Images and Videos: A Survey [8.216028136706948]
  Segment Anything Model (SAM) は、プロンプト駆動のパラダイムをイメージセグメンテーションの領域に拡張したことを示す。 最近のSAM2の導入は、オリジナルのSAMをストリーミング方式に効果的に拡張し、ビデオセグメンテーションにおいて強力なパフォーマンスを示す。 本稿では,SAM2をバイオメディカル画像やビデオに適用するための最近の取り組みの概要について述べる。
  論文  参考訳（メタデータ） (2024-08-23T07:51:10Z)
• Evaluating SAM2's Role in Camouflaged Object Detection: From SAM to SAM2 [10.751277821864916]
  報告によると、SAM2のオートモードでのプロンプトなしで、画像内の異なるオブジェクトを知覚する能力は低下している。 具体的には, この性能低下を評価するために, カモフラージュされた物体検出の課題を用いる。
  論文  参考訳（メタデータ） (2024-07-31T13:32:10Z)
• Segment Anything for Videos: A Systematic Survey [52.28931543292431]
  最近のファンデーションモデルの波は、コンピュータビジョン(CV)などにおいて大きな成功を収めている。 セグメンテーション・アズ・モデル(SAM)はタスクに依存しない視覚基盤モデルを探究する情熱を喚起した。 本研究は,基礎モデル時代のビデオに対するSAMの体系的レビューを行う。
  論文  参考訳（メタデータ） (2024-07-31T02:24:53Z)
• AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
  Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。 オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:39Z)
• Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
  Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。 SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。 我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
  論文  参考訳（メタデータ） (2023-12-06T17:19:00Z)
• On the Robustness of Segment Anything [46.669794757467166]
  我々は, SAMの試験時間ロバスト性について, 敵のシナリオと共通の腐敗下で検討することを目的としている。 SAMは、ぼやけた汚職を除いて、様々な汚職に対して顕著な堅牢性を示す。
  論文  参考訳（メタデータ） (2023-05-25T16:28:30Z)
• A Comprehensive Survey on Segment Anything Model for Vision and Beyond [7.920790211915402]
  幅広いデータに基づいて訓練された基礎モデルと呼ばれる、一般的なモデルのクラスを設計することは緊急である。 最近提案されたセグメンテーションモデル(SAM)は、セグメンテーションの境界を破る大きな進歩を遂げた。 本稿では,SAMを含む基礎モデルの背景と用語,およびSAMと同種の最先端手法について紹介する。
  論文  参考訳（メタデータ） (2023-05-14T16:23:22Z)
• A Survey on Segment Anything Model (SAM): Vision Foundation Model Meets Prompt Engineering [49.732628643634975]
  Meta AI Researchが開発したSegment Anything Model (SAM)は、画像とビデオのセグメンテーションのための堅牢なフレームワークを提供する。 このサーベイはSAMファミリーの包括的調査を提供し、SAMとSAM 2は粒度と文脈理解の進歩を強調している。
  論文  参考訳（メタデータ） (2023-05-12T07:21:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。