論文の概要: Segment Anything for Videos: A Systematic Survey

• arxiv url: http://arxiv.org/abs/2408.08315v1
• Date: Wed, 31 Jul 2024 02:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-25 14:30:57.241705
• Title: Segment Anything for Videos: A Systematic Survey
• Title（参考訳）: ビデオのためのセグメンテーション:システマティックサーベイ
• Authors: Chunhui Zhang, Yawen Cui, Weilin Lin, Guanjie Huang, Yan Rong, Li Liu, Shiguang Shan,
• Abstract要約: 最近のファンデーションモデルの波は、コンピュータビジョン(CV)などにおいて大きな成功を収めている。 セグメンテーション・アズ・モデル(SAM)はタスクに依存しない視覚基盤モデルを探究する情熱を喚起した。 本研究は,基礎モデル時代のビデオに対するSAMの体系的レビューを行う。
• 参考スコア（独自算出の注目度）: 52.28931543292431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent wave of foundation models has witnessed tremendous success in computer vision (CV) and beyond, with the segment anything model (SAM) having sparked a passion for exploring task-agnostic visual foundation models. Empowered by its remarkable zero-shot generalization, SAM is currently challenging numerous traditional paradigms in CV, delivering extraordinary performance not only in various image segmentation and multi-modal segmentation (\eg, text-to-mask) tasks, but also in the video domain. Additionally, the latest released SAM 2 is once again sparking research enthusiasm in the realm of promptable visual segmentation for both images and videos. However, existing surveys mainly focus on SAM in various image processing tasks, a comprehensive and in-depth review in the video domain is notably absent. To address this gap, this work conducts a systematic review on SAM for videos in the era of foundation models. As the first to review the progress of SAM for videos, this work focuses on its applications to various tasks by discussing its recent advances, and innovation opportunities of developing foundation models on broad applications. We begin with a brief introduction to the background of SAM and video-related research domains. Subsequently, we present a systematic taxonomy that categorizes existing methods into three key areas: video understanding, video generation, and video editing, analyzing and summarizing their advantages and limitations. Furthermore, comparative results of SAM-based and current state-of-the-art methods on representative benchmarks, as well as insightful analysis are offered. Finally, we discuss the challenges faced by current research and envision several future research directions in the field of SAM for video and beyond.
• Abstract（参考訳）: 近年のファンデーションモデルの波は、コンピュータビジョン(CV)などにおいて大きな成功を収めており、セグメンテーションのあらゆるモデル(SAM)がタスクに依存しないヴィジュアルファンデーションモデルの探求に熱中している。 SAMは目覚ましいゼロショットの一般化によって現在、CVにおける多くの伝統的なパラダイムに挑戦しており、様々なイメージセグメンテーションやマルチモーダルセグメンテーション(\eg, text-to-mask)タスクだけでなく、ビデオ領域でも素晴らしいパフォーマンスを提供している。 さらに、最新リリースのSAM 2は、画像とビデオの両方の即時的な視覚的セグメンテーションという領域において、再び研究の情熱を喚起している。 しかし、既存の調査は主に様々な画像処理タスクにおけるSAMに焦点を当てており、ビデオ領域における包括的で詳細なレビューは特に欠落している。 このギャップに対処するため、本研究では、基礎モデル時代のビデオのSAMを体系的にレビューする。 本研究は,ビデオにおけるSAMの進歩を初めて概観するものとして,近年の進歩と広義の基盤モデル開発におけるイノベーションの機会を論じ,様々なタスクへの応用に焦点を当てたものである。 まず、SAMおよびビデオ関連研究領域の背景について、簡単な紹介から始める。 次に,既存の手法をビデオ理解,ビデオ生成,ビデオ編集,分析,限界の要約という3つの重要な領域に分類する系統分類法を提案する。 さらに, SAM-based および current-of-the-art method を代表ベンチマークで比較し, 洞察に富んだ分析を行った。 最後に,現在研究が直面している課題について考察し,SAMの分野における今後の研究の方向性について解説する。

関連論文リスト

• Image Segmentation in Foundation Model Era: A Survey [99.19456390358211]
  イメージセグメンテーションにおける現在の研究は、これらの進歩に関連する特徴、課題、解決策の詳細な分析を欠いている。 本調査は、FM駆動画像セグメンテーションを中心とした最先端の研究を徹底的にレビューすることで、このギャップを埋めようとしている。 現在の研究成果の広さを包括する,300以上のセグメンテーションアプローチの概要を概観する。
  論文  参考訳（メタデータ） (2024-08-23T10:07:59Z)
• Unleashing the Potential of SAM2 for Biomedical Images and Videos: A Survey [8.216028136706948]
  Segment Anything Model (SAM) は、プロンプト駆動のパラダイムをイメージセグメンテーションの領域に拡張したことを示す。 最近のSAM2の導入は、オリジナルのSAMをストリーミング方式に効果的に拡張し、ビデオセグメンテーションにおいて強力なパフォーマンスを示す。 本稿では,SAM2をバイオメディカル画像やビデオに適用するための最近の取り組みの概要について述べる。
  論文  参考訳（メタデータ） (2024-08-23T07:51:10Z)
• A Survey on Video Diffusion Models [103.03565844371711]
  AI生成コンテンツ(AIGC)の最近の波は、コンピュータビジョンでかなりの成功を収めている。 その印象的な生成能力のため、拡散モデルは徐々にGANと自動回帰変換器に基づく手法に取って代わられている。 本稿では,AIGC時代の映像拡散モデルについて概観する。
  論文  参考訳（メタデータ） (2023-10-16T17:59:28Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• A Comprehensive Survey on Segment Anything Model for Vision and Beyond [7.920790211915402]
  幅広いデータに基づいて訓練された基礎モデルと呼ばれる、一般的なモデルのクラスを設計することは緊急である。 最近提案されたセグメンテーションモデル(SAM)は、セグメンテーションの境界を破る大きな進歩を遂げた。 本稿では,SAMを含む基礎モデルの背景と用語,およびSAMと同種の最先端手法について紹介する。
  論文  参考訳（メタデータ） (2023-05-14T16:23:22Z)
• A Survey on Segment Anything Model (SAM): Vision Foundation Model Meets Prompt Engineering [49.732628643634975]
  Meta AI Researchが開発したSegment Anything Model (SAM)は、画像とビデオのセグメンテーションのための堅牢なフレームワークを提供する。 このサーベイはSAMファミリーの包括的調査を提供し、SAMとSAM 2は粒度と文脈理解の進歩を強調している。
  論文  参考訳（メタデータ） (2023-05-12T07:21:59Z)
• Segment anything, from space? [8.126645790463266]
  SAM(Segment Anything Model)は、安価な入力プロンプトに基づいて、入力画像中のオブジェクトをセグメント化することができる。 SAMは通常、目標タスクで訓練された視覚モデルに似た、あるいは時として超えた認識精度を達成した。 SAMの性能が画像のオーバーヘッド問題にまで及んでいるかどうかを考察し、その開発に対するコミュニティの反応を導くのに役立てる。
  論文  参考訳（メタデータ） (2023-04-25T17:14:36Z)
• Segment Anything Is Not Always Perfect: An Investigation of SAM on Different Real-world Applications [31.31905890353516]
  最近、Meta AI Researchは、前例のない大規模なセグメンテーションデータセット(SA-1B)で事前訓練された、一般的な、プロンプト可能なセグメンテーションモデル(SAM)にアプローチしている。 特に,自然画像,農業,製造業,リモートセンシング,医療などの分野において,SAMの性能に関する興味深い調査を行っている。
  論文  参考訳（メタデータ） (2023-04-12T10:10:03Z)
• A Survey on Deep Learning Technique for Video Segmentation [147.0767454918527]
  ビデオセグメンテーションは幅広い応用において重要な役割を果たしている。 ディープラーニングベースのアプローチは、ビデオセグメンテーションに特化しており、魅力的なパフォーマンスを提供している。
  論文  参考訳（メタデータ） (2021-07-02T15:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。