論文の概要: EdgeTAM: On-Device Track Anything Model

• arxiv url: http://arxiv.org/abs/2501.07256v1
• Date: Mon, 13 Jan 2025 12:11:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:24:11.173332
• Title: EdgeTAM: On-Device Track Anything Model
• Title（参考訳）: EdgeTAM: デバイス上での追跡モデル
• Authors: Chong Zhou, Chenchen Zhu, Yunyang Xiong, Saksham Suri, Fanyi Xiao, Lemeng Wu, Raghuraman Krishnamoorthi, Bo Dai, Chen Change Loy, Vikas Chandra, Bilge Soran,
• Abstract要約: Segment Anything Model (SAM) 2はさらに、イメージからビデオへの入力をメモリバンク機構を通じて拡張する。 私たちはSAM 2をより効率的にし、同等のパフォーマンスを維持しながらモバイルデバイス上でも動作できるようにすることを目標としています。 計算コストを削減するために,新しい2次元空間知覚器を利用するEdgeTAMを提案する。
• 参考スコア（独自算出の注目度）: 65.10032957471824
• License:
• Abstract: On top of Segment Anything Model (SAM), SAM 2 further extends its capability from image to video inputs through a memory bank mechanism and obtains a remarkable performance compared with previous methods, making it a foundation model for video segmentation task. In this paper, we aim at making SAM 2 much more efficient so that it even runs on mobile devices while maintaining a comparable performance. Despite several works optimizing SAM for better efficiency, we find they are not sufficient for SAM 2 because they all focus on compressing the image encoder, while our benchmark shows that the newly introduced memory attention blocks are also the latency bottleneck. Given this observation, we propose EdgeTAM, which leverages a novel 2D Spatial Perceiver to reduce the computational cost. In particular, the proposed 2D Spatial Perceiver encodes the densely stored frame-level memories with a lightweight Transformer that contains a fixed set of learnable queries. Given that video segmentation is a dense prediction task, we find preserving the spatial structure of the memories is essential so that the queries are split into global-level and patch-level groups. We also propose a distillation pipeline that further improves the performance without inference overhead. As a result, EdgeTAM achieves 87.7, 70.0, 72.3, and 71.7 J&F on DAVIS 2017, MOSE, SA-V val, and SA-V test, while running at 16 FPS on iPhone 15 Pro Max.
• Abstract（参考訳）: Segment Anything Model (SAM) の上に、SAM 2 はメモリバンク機構を通じて画像からビデオへの入力能力をさらに拡張し、従来の手法と比較して顕著な性能を実現し、ビデオセグメンテーションタスクの基礎モデルとなっている。 本稿では,SAM 2をモバイルデバイス上で動作させると同時に,同等の性能を維持しながら,より効率的にすることを目的とする。 SAMを効率良く最適化する作業はいくつかあるが、SAM 2では画像エンコーダの圧縮に重点を置いているため不十分である。 本研究では,新しい2次元空間知覚器を応用して計算コストを削減するEdgeTAMを提案する。 特に、提案した2次元空間知覚器は、学習可能なクエリの固定セットを含む軽量なトランスフォーマーを用いて、高密度に記憶されたフレームレベルのメモリを符号化する。 ビデオセグメンテーションが密集した予測タスクであることを考えると、クエリをグローバルレベルとパッチレベルのグループに分割するためには、記憶の空間構造を保存することが不可欠である。 また,推定オーバーヘッドを伴わずに性能を向上する蒸留パイプラインを提案する。 その結果、EdgeTAMはDAVIS 2017で87.7, 70.0, 72.3, 71.7 J&Fを達成し、iPhone 15 Pro Maxで16 FPSで動作する。

関連論文リスト

• Efficient Track Anything [32.0480507678127]
  Segment Anything Model 2 (SAM2)は、ビデオオブジェクトのセグメンテーションと追跡のための強力なツールとして登場した。 多段画像エンコーダとメモリモジュールの複雑さは、実世界のタスクにおける応用を制限している。 本稿では,低レイテンシとモデルサイズで高品質な結果をもたらすモデルを軽量に追跡する,効率的なTAMを提案する。
  論文  参考訳（メタデータ） (2024-11-28T05:52:10Z)
• A Distractor-Aware Memory for Visual Object Tracking with SAM2 [11.864619292028278]
  メモリベースのトラッカー(英: Memory-based tracker)は、最近追跡されたフレームをメモリバッファに連結し、現在の画像をバッファされたフレームに到達させることでターゲットをローカライズすることにより、ターゲットモデルを形成するビデオオブジェクトセグメンテーション手法である。 SAM2.1++はSAM2.1と関連するSAMメモリ拡張を7つのベンチマークで上回り、6つのベンチマークで新しい最先端を設定できる。
  論文  参考訳（メタデータ） (2024-11-26T16:41:09Z)
• SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree [79.26409013413003]
  SAM2Longは、トレーニング不要のビデオオブジェクトセグメンテーションを改良した手法である。 各フレーム内のセグメンテーションの不確実性を考慮し、複数のセグメンテーション経路からビデオレベルの最適結果を選択する。 SAM2Longは、24の頭対頭比較で平均3.0点の改善を実現している。
  論文  参考訳（メタデータ） (2024-10-21T17:59:19Z)
• SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
  我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。 本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-16T17:55:38Z)
• From SAM to SAM 2: Exploring Improvements in Meta's Segment Anything Model [0.5639904484784127]
  Segment Anything Model (SAM)は、2023年4月にMetaによってコンピュータビジョンコミュニティに導入された。 SAMはゼロショットのパフォーマンスに優れ、追加のトレーニングなしで見えないオブジェクトをセグメンテーションする。 SAM 2は、この機能をビデオに拡張し、前および後続のフレームからのメモリを活用して、ビデオ全体にわたって正確なセグメンテーションを生成する。
  論文  参考訳（メタデータ） (2024-08-12T17:17:35Z)
• TinySAM: Pushing the Envelope for Efficient Segment Anything Model [73.06322749886483]
  我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。 これらすべての提案手法により、TinySAMは計算量を大幅に削減し、エンベロープを効率的なセグメント化タスクにプッシュする。
  論文  参考訳（メタデータ） (2023-12-21T12:26:11Z)
• EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM [71.868623296582]
  EdgeSAMはSegment Anything Model (SAM)の高速化版である。 我々のアプローチは、VTベースのSAMイメージエンコーダを純粋にCNNベースのアーキテクチャに蒸留することである。 これは、iPhone 14で30FPS以上で動作可能なSAMの最初の派生機種である。
  論文  参考訳（メタデータ） (2023-12-11T18:59:52Z)
• Region Aware Video Object Segmentation with Deep Motion Modeling [56.95836951559529]
  Region Aware Video Object (RAVOS) は、効率的なオブジェクトセグメンテーションとメモリストレージのための関心領域を予測する手法である。 効率的なセグメンテーションのために、ROIに応じてオブジェクトの特徴を抽出し、オブジェクトレベルのセグメンテーションのためにオブジェクトデコーダを設計する。 効率的なメモリ記憶のために,2つのフレーム間のオブジェクトの移動経路内の特徴を記憶することで,冗長なコンテキストをフィルタリングする動作パスメモリを提案する。
  論文  参考訳（メタデータ） (2022-07-21T01:44:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。