論文の概要: A Comprehensive Survey on Segment Anything Model for Vision and Beyond
- arxiv url: http://arxiv.org/abs/2305.08196v1
- Date: Sun, 14 May 2023 16:23:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 16:56:39.160563
- Title: A Comprehensive Survey on Segment Anything Model for Vision and Beyond
- Title(参考訳): 視覚・他領域のセグメンテーションモデルに関する総合的調査
- Authors: Chunhui Zhang, Li Liu, Yawen Cui, Guanjie Huang, Weilin Lin, Yiqian
Yang, Yuehong Hu
- Abstract要約: 幅広いデータに基づいて訓練された基礎モデルと呼ばれる、一般的なモデルのクラスを設計することは緊急である。
最近提案されたセグメンテーションモデル(SAM)は、セグメンテーションの境界を破る大きな進歩を遂げた。
この研究は、様々なタスクやデータタイプへの応用に焦点を当て、その歴史的発展、最近の進歩、そして幅広いアプリケーションに対する大きな影響について論じる。
- 参考スコア(独自算出の注目度): 7.920790211915402
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Artificial intelligence (AI) is evolving towards artificial general
intelligence, which refers to the ability of an AI system to perform a wide
range of tasks and exhibit a level of intelligence similar to that of a human
being. This is in contrast to narrow or specialized AI, which is designed to
perform specific tasks with a high degree of efficiency. Therefore, it is
urgent to design a general class of models, which we term foundation models,
trained on broad data that can be adapted to various downstream tasks. The
recently proposed segment anything model (SAM) has made significant progress in
breaking the boundaries of segmentation, greatly promoting the development of
foundation models for computer vision. To fully comprehend SAM, we conduct a
survey study. As the first to comprehensively review the progress of segmenting
anything task for vision and beyond based on the foundation model of SAM, this
work focuses on its applications to various tasks and data types by discussing
its historical development, recent progress, and profound impact on broad
applications. We first introduce the background and terminology for foundation
models including SAM, as well as state-of-the-art methods contemporaneous with
SAM that are significant for segmenting anything task. Then, we analyze and
summarize the advantages and limitations of SAM across various image processing
applications, including software scenes, real-world scenes, and complex scenes.
Importantly, some insights are drawn to guide future research to develop more
versatile foundation models and improve the architecture of SAM. We also
summarize massive other amazing applications of SAM in vision and beyond.
- Abstract(参考訳): 人工知能(AI)は、AIシステムが幅広いタスクを実行し、人間のものと似たレベルの知性を示す能力を指す人工知能へと進化している。
これは、特定のタスクを高い効率で実行するように設計された、狭いあるいは特殊なAIとは対照的である。
したがって、様々な下流タスクに適応可能な幅広いデータに基づいて訓練された基礎モデルと呼ばれる、一般的なモデルのクラスを設計することが急務である。
最近提案されたセグメンテーションモデル (SAM) は、セグメンテーションの境界を画定し、コンピュータビジョンの基礎モデルの開発を大いに促進している。
SAMを完全に理解するために,我々は調査研究を行う。
ビジョンのためのタスクのセグメンテーションの進捗を、samの基礎モデルに基づいて包括的にレビューするため、本研究は、その歴史的発展、最近の進歩、幅広いアプリケーションへの深い影響について議論することで、様々なタスクやデータタイプへの応用に焦点を当てている。
まず、SAMを含む基礎モデルの背景と用語、およびタスクのセグメンテーションに重要なSAMと同等の最先端の手法について紹介する。
そして,ソフトウェアシーン,現実世界シーン,複雑なシーンなど,様々な画像処理アプリケーションにおけるSAMの利点と限界を分析し,要約する。
重要なのは、より汎用的な基礎モデルを開発し、samのアーキテクチャを改善するための将来の研究のガイドとなるいくつかの洞察である。
また、SAMの視覚およびそれ以上の素晴らしい応用についてもまとめています。
関連論文リスト
- ASAM: Boosting Segment Anything Model with Adversarial Tuning [9.566046692165884]
本稿では, 対角的チューニングにより基礎モデルの性能を増幅する新しい手法であるASAMを紹介する。
我々は,自然言語処理における実装の成功に触発された,自然対逆例の可能性を生かした。
本手法は, 対向例のフォトリアリズムを維持し, 元のマスクアノテーションとの整合性を確保する。
論文 参考訳(メタデータ) (2024-05-01T00:13:05Z) - MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。
本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文 参考訳(メタデータ) (2024-04-24T07:38:14Z) - The (R)Evolution of Multimodal Large Language Models: A Survey [48.61135328255951]
MLLM(Multimodal Large Language Models)は、視覚とテキストのモダリティを、入力と出力の両方としてシームレスに統合することができる。
本稿では,近年の視覚的MLLMのレビュー,アーキテクチャ選択,マルチモーダルアライメント戦略,トレーニング手法について述べる。
論文 参考訳(メタデータ) (2024-02-19T19:01:01Z) - An Interactive Agent Foundation Model [50.50659114031731]
本稿では,AIエージェントを訓練するための新しいマルチタスクエージェントトレーニングパラダイムを用いた対話型エージェント基礎モデルを提案する。
トレーニングパラダイムは、視覚マスク付きオートエンコーダ、言語モデリング、次世代の予測など、多様な事前学習戦略を統一する。
私たちは、ロボティクス、ゲームAI、ヘルスケアという3つの異なる領域でフレームワークのパフォーマンスを実演します。
論文 参考訳(メタデータ) (2024-02-08T18:58:02Z) - Generalizable Visual Reinforcement Learning with Segment Anything Model [28.172477166023697]
一般化可能なビジュアルRL(SAM-G)のためのセグメンテーションモデルを提案する。
SAM-Gは、Segment Anything Model(SAM)の迅速なセグメンテーション能力を利用して、視覚的RLエージェントの一般化能力を向上する新しいフレームワークである。
8つのDMControlタスクと3つのAdroitタスクで評価され、SAM-GはRLエージェントのアーキテクチャを変更することなく、観察だけをすることなく、視覚的一般化能力を大幅に改善する。
論文 参考訳(メタデータ) (2023-12-28T16:53:23Z) - General Object Foundation Model for Images and Videos at Scale [99.2806103051613]
本稿では,画像やビデオ中の物体の位置と識別のためのオブジェクトレベルの基礎モデルであるGLEEを提案する。
GLEEは、オープンワールドシナリオにおける任意のオブジェクトの検出、セグメンテーション、トラッキング、グラウンド、識別を達成する。
画像エンコーダ,テキストエンコーダ,視覚プロンプトを用いて複数モーダル入力を処理し,様々なオブジェクト中心の下流タスクを同時に解決する。
論文 参考訳(メタデータ) (2023-12-14T17:26:00Z) - Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。
SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。
我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文 参考訳(メタデータ) (2023-12-06T17:19:00Z) - A Survey on Segment Anything Model (SAM): Vision Foundation Model Meets
Prompt Engineering [37.68799208121957]
Meta AI Researchが開発したSegment Any Model(SAM)が注目されている。
関連論文やプロジェクトが指数関数的に増加する中、読者がSAMの開発に追いつくことは困難である。
この研究はSAMに関する最初の包括的調査を実施している。
論文 参考訳(メタデータ) (2023-05-12T07:21:59Z) - SAM Fails to Segment Anything? -- SAM-Adapter: Adapting SAM in
Underperformed Scenes: Camouflage, Shadow, Medical Image Segmentation, and
More [13.047310918166762]
ドメイン固有の情報や視覚的プロンプトを,単純で効果的なアダプタを用いてセグメント化ネットワークに組み込んだtextbfSAM-Adapterを提案する。
タスク固有のネットワークモデルよりも優れていて、テストしたタスクで最先端のパフォーマンスを実現できます。
論文 参考訳(メタデータ) (2023-04-18T17:38:54Z) - Segment Anything Is Not Always Perfect: An Investigation of SAM on
Different Real-world Applications [31.31905890353516]
最近、Meta AI Researchは、前例のない大規模なセグメンテーションデータセット(SA-1B)で事前訓練された、一般的な、プロンプト可能なセグメンテーションモデル(SAM)にアプローチしている。
特に,自然画像,農業,製造業,リモートセンシング,医療などの分野において,SAMの性能に関する興味深い調査を行っている。
論文 参考訳(メタデータ) (2023-04-12T10:10:03Z) - Dynamic Feature Integration for Simultaneous Detection of Salient
Object, Edge and Skeleton [108.01007935498104]
本稿では,高次物体分割,エッジ検出,スケルトン抽出など,低レベルの3つの視覚問題を解く。
まず、これらのタスクで共有される類似点を示し、統一されたフレームワークの開発にどのように活用できるかを示す。
論文 参考訳(メタデータ) (2020-04-18T11:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。