論文の概要: Segment and Track Anything

• arxiv url: http://arxiv.org/abs/2305.06558v1
• Date: Thu, 11 May 2023 04:33:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 16:09:27.280985
• Title: Segment and Track Anything
• Title（参考訳）: セグメンテーションと追跡
• Authors: Yangming Cheng, Liulei Li, Yuanyou Xu, Xiaodi Li, Zongxin Yang, Wenguan Wang, Yi Yang
• Abstract要約: 本報告ではSegment And Track Anything(SAMTrack)というフレームワークについて述べる。 SAM-Trackを使えば、ビデオ内の任意のオブジェクトを正確かつ効果的にセグメンテーションし、追跡することができる。 ドローン技術、自動運転、医療画像、拡張現実、生物学的分析など、さまざまな分野に応用することができる。
• 参考スコア（独自算出の注目度）: 57.20918630166862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report presents a framework called Segment And Track Anything (SAMTrack) that allows users to precisely and effectively segment and track any object in a video. Additionally, SAM-Track employs multimodal interaction methods that enable users to select multiple objects in videos for tracking, corresponding to their specific requirements. These interaction methods comprise click, stroke, and text, each possessing unique benefits and capable of being employed in combination. As a result, SAM-Track can be used across an array of fields, ranging from drone technology, autonomous driving, medical imaging, augmented reality, to biological analysis. SAM-Track amalgamates Segment Anything Model (SAM), an interactive key-frame segmentation model, with our proposed AOT-based tracking model (DeAOT), which secured 1st place in four tracks of the VOT 2022 challenge, to facilitate object tracking in video. In addition, SAM-Track incorporates Grounding-DINO, which enables the framework to support text-based interaction. We have demonstrated the remarkable capabilities of SAM-Track on DAVIS-2016 Val (92.0%), DAVIS-2017 Test (79.2%)and its practicability in diverse applications. The project page is available at: https://github.com/z-x-yang/Segment-and-Track-Anything.
• Abstract（参考訳）: このレポートでは、segment and track anything(samtrack)と呼ばれるフレームワークを提示している。 さらにSAM-Trackでは、ユーザが特定の要件に応じて、ビデオ内の複数のオブジェクトをトラッキングするために、マルチモーダルなインタラクションメソッドを採用している。 これらの相互作用方法は、クリック、ストローク、テキストで構成され、それぞれに固有の利点があり、組み合わせて使用できる。 その結果、SAM-Trackは、ドローン技術、自動運転、医療画像、拡張現実、生物分析など、さまざまな分野にまたがって使用することができる。 SAM-Track amalgamates Segment Anything Model (SAM)は、対話型キーフレームセグメンテーションモデルであり、VOT 2022チャレンジの4トラックで1位を獲得したAOTベースのトラッキングモデル(DeAOT)を用いて、ビデオ中のオブジェクト追跡を容易にする。 さらに sam-track には grounding-dino というフレームワークが組み込まれており,テキストベースのインタラクションをサポートする。 我々は,DAVIS-2016 Val (92.0%),DAVIS-2017 Test (79.2%)におけるSAM-Trackの顕著な機能と,多様なアプリケーションでの実践性を示した。 プロジェクトページはhttps://github.com/z-x-yang/segment-and-track-anything.com/で閲覧できる。

関連論文リスト

• Matching Anything by Segmenting Anything [109.2507425045143]
  我々は、堅牢なインスタンスアソシエーション学習のための新しい手法であるMASAを提案する。 MASAは、徹底的なデータ変換を通じてインスタンスレベルの対応を学習する。 完全アノテートされたドメイン内ビデオシーケンスでトレーニングした最先端の手法よりも,MASAの方が優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-06-06T16:20:07Z)
• CML-MOTS: Collaborative Multi-task Learning for Multi-Object Tracking and Segmentation [31.167405688707575]
  ビデオフレーム上でのインスタンスレベルの視覚分析のためのフレームワークを提案する。 オブジェクト検出、インスタンスセグメンテーション、マルチオブジェクトトラッキングを同時に行うことができる。 提案手法は, KITTI MOTS と MOTS Challenge のデータセットを用いて広範に評価する。
  論文  参考訳（メタデータ） (2023-11-02T04:32:24Z)
• OmniTracker: Unifying Object Tracking by Tracking-with-Detection [119.51012668709502]
  OmniTrackerは、完全に共有されたネットワークアーキテクチャ、モデルウェイト、推論パイプラインですべてのトラッキングタスクを解決するために提供されている。 LaSOT、TrackingNet、DAVIS16-17、MOT17、MOTS20、YTVIS19を含む7つの追跡データセットの実験は、OmniTrackerがタスク固有の追跡モデルと統合された追跡モデルの両方よりも、オンパーまたはそれ以上の結果を達成することを示した。
  論文  参考訳（メタデータ） (2023-03-21T17:59:57Z)
• DIVOTrack: A Novel Dataset and Baseline Method for Cross-View Multi-Object Tracking in DIVerse Open Scenes [74.64897845999677]
  歩行者が密集したDIVerse Openのシーンを対象とした,新しいクロスビュー多目的追跡データセットを提案する。 私たちのDIVOTrackには15の異なるシナリオと953のクロスビュートラックがあります。 さらに,クロスモット(CrossMOT)という統合型共同検出・クロスビュートラッキングフレームワークを用いた新しいベースラインクロスビュートラッキング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T14:10:42Z)
• BURST: A Benchmark for Unifying Object Recognition, Segmentation and Tracking in Video [58.71785546245467]
  複数の既存のベンチマークには、ビデオ内のオブジェクトのトラッキングとセグメンテーションが含まれる。 異なるベンチマークデータセットとメトリクスを使用するため、それらの相互作用はほとんどありません。 高品質なオブジェクトマスクを備えた数千の多様なビデオを含むデータセットであるBURSTを提案する。 すべてのタスクは、同じデータと同等のメトリクスを使って評価されます。
  論文  参考訳（メタデータ） (2022-09-25T01:27:35Z)
• Unified Transformer Tracker for Object Tracking [58.65901124158068]
  異なるシナリオにおけるトラッキング問題に1つのパラダイムで対処するために,UTT(Unified Transformer Tracker)を提案する。 SOT(Single Object Tracking)とMOT(Multiple Object Tracking)の両方を対象とするトラックトランスフォーマーを開発した。
  論文  参考訳（メタデータ） (2022-03-29T01:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。