Fugu-MT 論文翻訳(概要): Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks

論文の概要: Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks

arxiv url: http://arxiv.org/abs/2401.14159v1
Date: Thu, 25 Jan 2024 13:12:09 GMT
ステータス: 処理完了
システム内更新日: 2024-01-26 14:31:04.407454
Title: Grounded SAM: Assembling Open-World Models for Diverse Visual Tasks
Title（参考訳）: Grounded SAM: 多様な視覚タスクのためのオープンワールドモデルを組み立てる
Authors: Tianhe Ren, Shilong Liu, Ailing Zeng, Jing Lin, Kunchang Li, He Cao, Jiayu Chen, Xinyu Huang, Yukang Chen, Feng Yan, Zhaoyang Zeng, Hao Zhang, Feng Li, Jie Yang, Hongyang Li, Qing Jiang, Lei Zhang
Abstract要約: オープンセットオブジェクト検出器として Grounding DINO を用いて,セグメントアプライスモデル(SAM)と組み合わせた Grounded SAM を紹介する。この統合により任意のテキスト入力に基づいて任意の領域の検出とセグメンテーションが可能になる。
参考スコア（独自算出の注目度）: 47.646824158039664
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce Grounded SAM, which uses Grounding DINO as an open-set object detector to combine with the segment anything model (SAM). This integration enables the detection and segmentation of any regions based on arbitrary text inputs and opens a door to connecting various vision models. As shown in Fig.1, a wide range of vision tasks can be achieved by using the versatile Grounded SAM pipeline. For example, an automatic annotation pipeline based solely on input images can be realized by incorporating models such as BLIP and Recognize Anything. Additionally, incorporating Stable-Diffusion allows for controllable image editing, while the integration of OSX facilitates promptable 3D human motion analysis. Grounded SAM also shows superior performance on open-vocabulary benchmarks, achieving 48.7 mean AP on SegInW (Segmentation in the wild) zero-shot benchmark with the combination of Grounding DINO-Base and SAM-Huge models.
Abstract（参考訳）: オープンセットオブジェクト検出器としてGrounding DINOを用いて,セグメント別モデル(SAM)と組み合わせたGrounded SAMを紹介する。この統合により任意のテキスト入力に基づいて任意の領域の検出とセグメンテーションが可能になり、様々なビジョンモデルを接続するための扉を開く。図1に示すように、汎用的な Grounded SAM パイプラインを使用することで、幅広いビジョンタスクを実現することができる。例えば、BLIPやRecognize Anythingといったモデルを導入することで、入力イメージのみに基づく自動アノテーションパイプラインを実現することができる。さらに、Stable-Diffusionを組み込むことで、コントロール可能な画像編集が可能であり、OSXとの統合は、迅速な3Dモーション分析を容易にする。 Grounding DINO-BaseとSAM-Hugeのモデルを組み合わせたSegInW (Segmentation in the wild)ゼロショットベンチマークで48.7の平均APを達成した。

関連論文リスト

Prompting DirectSAM for Semantic Contour Extraction in Remote Sensing Images [11.845626002236772]
我々は,自然画像から得られる強いセグメンテーション機能を継承するDirectSAM-RSという,DirectSAMから派生した基盤モデルを提案する。このデータセットは34k以上の画像-テキスト-コンテンツトレーレットで構成されており、個々のデータセットの少なくとも30倍の大きさである。我々は、DirectSAM-RSをゼロショットと微調整の両方で評価し、複数のダウンストリームベンチマークで最先端性能を実現することを実証した。
論文参考訳（メタデータ） (2024-10-08T16:55:42Z)
Tuning a SAM-Based Model with Multi-Cognitive Visual Adapter to Remote Sensing Instance Segmentation [4.6570959687411975]
Segment Anything Model (SAM) は例外的な一般化能力を示す。 SAMは大規模なリモートセンシング画像の事前トレーニングを欠いているため、インタラクティブな構造は自動マスク予測能力を制限している。マルチ認知SAMベースインスタンスモデル (MC-SAM SEG) を導入し, リモートセンシング領域にSAMを採用する。 MC-SAM SEG と呼ばれる提案手法は,SAM-Mona エンコーダの微調整と特徴アグリゲータによって高品質な特徴を抽出する。
論文参考訳（メタデータ） (2024-08-16T07:23:22Z)
Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文参考訳（メタデータ） (2024-08-08T09:09:37Z)
AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
論文参考訳（メタデータ） (2024-06-01T16:21:39Z)
MAS-SAM: Segment Any Marine Animal with Aggregated Features [55.91291540810978]
そこで本研究では,海洋生物のセグメンテーションのためのMAS-SAMという新しい特徴学習フレームワークを提案する。本手法により,グローバルな文脈的手がかりからよりリッチな海洋情報を抽出し,よりきめ細かな局部的詳細を抽出できる。
論文参考訳（メタデータ） (2024-04-24T07:38:14Z)
RSAM-Seg: A SAM-based Approach with Prior Knowledge Integration for Remote Sensing Image Semantic Segmentation [10.37240769959699]
Segment Anything Model (SAM)は、イメージセグメンテーションタスクのための普遍的な事前トレーニングモデルを提供する。本稿では,セマンティックを用いたリモートセンシングSAM(RSAM-Seg)を提案する。 SAMのエンコーダ部分のマルチヘッドアテンションブロックにおいて,アダプタスケール(Adapter-Scale)が提案されている。クラウド検出、フィールド監視、ビル検出、道路マッピングタスクを含む4つの異なるリモートセンシングシナリオで実験が行われた。
論文参考訳（メタデータ） (2024-02-29T09:55:46Z)
Boosting Segment Anything Model Towards Open-Vocabulary Learning [69.42565443181017]
Segment Anything Model (SAM)は、新しいパラダイムビジョン基盤モデルとして登場した。 SAMは様々な領域で応用や適応を発見できるが、その主な制限はオブジェクトの意味を把握できないことである。我々は,SAMとオープン語彙オブジェクト検出器をエンドツーエンドフレームワークでシームレスに統合するSamborを提案する。
論文参考訳（メタデータ） (2023-12-06T17:19:00Z)
Zero-Shot Segmentation of Eye Features Using the Segment Anything Model (SAM) [8.529233820032678]
Segment Anything Model (SAM)は、画像セグメンテーションのための最初の基礎モデルである。本研究では,VR機器で記録された視線画像から特徴を分割するSAMの能力を評価する。我々の調査はSAMのゼロショット学習能力と、バウンディングボックスやポイントクリックのようなプロンプトの有効性に焦点を当てている。
論文参考訳（メタデータ） (2023-11-14T11:05:08Z)
The Segment Anything Model (SAM) for Remote Sensing Applications: From Zero to One Shot [6.500451285898152]
本研究は,リモートセンシング画像解析におけるSegment Anything Model(SAM)の適用を推し進めることを目的としている。 SAMは例外的な一般化能力とゼロショット学習で知られている。空間分解能の低い画像で発生する限界にもかかわらず、SAMはリモートセンシングデータ解析に有望な適応性を示す。
論文参考訳（メタデータ） (2023-06-29T01:49:33Z)
Segment and Track Anything [57.20918630166862]
本報告ではSegment And Track Anything(SAMTrack)というフレームワークについて述べる。 SAM-Trackを使えば、ビデオ内の任意のオブジェクトを正確かつ効果的にセグメンテーションし、追跡することができる。ドローン技術、自動運転、医療画像、拡張現実、生物学的分析など、さまざまな分野に応用することができる。
論文参考訳（メタデータ） (2023-05-11T04:33:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。