論文の概要: MobileSAM2: Lightweight Segment Anything for Spatial Intelligence
- arxiv url: http://arxiv.org/abs/2607.12297v1
- Date: Tue, 14 Jul 2026 03:10:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.019706
- Title: MobileSAM2: Lightweight Segment Anything for Spatial Intelligence
- Title（参考訳）: MobileSAM2: 空間知のための軽量セグメント
- Abstract要約: 大きなビデオファンデーションモデルSAM2は、画像とビデオの両方で何でもセグメント化できる。
重厚なSAM2を軽量なモデルに蒸留することで、SAM2をよりモバイルフレンドリーにすることを目指している。
効率と効率のバランスをとる軽量SAM2の新たなファミリーであるMobileSAM2を紹介します。
- 参考スコア（独自算出の注目度）: 104.24442074291396
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent large video foundation model, SAM2, enables segment anything in both images and videos, serving as a powerful base model for various applications. However, many of such use cases require to operate on resource-constrained devices like mobile phones and laptops. In this work, we aim to make SAM2 more mobile-friendly by distilling the heavyweight SAM2 into a lightweight model, facilitating segment anything in both images and videos on mobile devices. To this end, we propose Hypergraphical Knowledge Distill (HyperKD), which introduces the idea of hypergraph into knowledge distillation, aiming to effectively model and transfer SAM2's generalizable and comprehensive knowledge. HyperKD consists of Temporal HyperKD and Granularity HyperKD that construct hypergraphs to explicitly model and extract the generalizable temporal knowledge and the comprehensive multi-granularity knowledge from SAM2 respectively, which are then distilled into the lightweight student model by aligning it with the constructed hypergraphs. Besides, we present MobileSAM2, a new family of lightweight SAM2 that balances efficiency and effectiveness via searching the best model architectures with HyperKD during model size reduction. Extensive experiments validate MobileSAM2 across multiple benchmarks and show promising generalization performance on embodied AI tasks.
- Abstract（参考訳）: 最近の大規模なビデオファンデーションモデルSAM2は、画像とビデオの両方であらゆるものをセグメント化でき、様々なアプリケーションのための強力なベースモデルとして機能する。
しかし、そのようなユースケースの多くは、携帯電話やラップトップのようなリソースに制約のあるデバイスで運用する必要がある。
本研究では,重厚なSAM2を軽量なモデルに蒸留し,モバイルデバイス上の画像やビデオのセグメンテーションを容易にすることにより,SAM2をよりモバイルフレンドリにすることを目的とする。
そこで我々は,ハイパーグラフを知識蒸留に導入し,SAM2の汎用的かつ包括的知識を効果的にモデル化し,伝達することを目的としたハイパーグラフィック知識蒸留(HyperKD)を提案する。
HyperKD は SAM2 から一般化可能な時間的知識と包括的多粒度知識をそれぞれモデル化し抽出するためにハイパーグラフを構築した時間的ハイパーKD とグラニュラリティハイパーKD から構成され、構築されたハイパーグラフと整列して軽量の学生モデルに蒸留される。
さらに,モデルサイズ削減時に最適なモデルアーキテクチャをHyperKDで探索することで,効率と効率のバランスをとる軽量SAM2のファミリーであるMobileSAM2を提案する。
大規模な実験は、MobileSAM2を複数のベンチマークで検証し、具体化されたAIタスクで有望な一般化性能を示す。
関連論文リスト
- TinySAM 2: Extreme Memory Compression for Efficient Track Anything Model [9.471131843884953]
TinySAM 2は、パフォーマンスと効率のバランスをとる軽量なビデオセグメンテーションモデルである。
DAVISやSA-Vのような挑戦的なデータセットの実験では、TinySAM 2がSAM 2.1のパフォーマンスの90%を達成している。
論文 参考訳（メタデータ） (2026-05-18T08:05:59Z) - SAM2-UNeXT: An Improved High-Resolution Baseline for Adapting Foundation Models to Downstream Segmentation Tasks [50.97089872043121]
SAM2-UNeXTはSAM2-UNetの中核となる原理を基盤とした高度なフレームワークである。
我々は、補助的なDINOv2エンコーダの統合によりSAM2の表現能力を拡張する。
我々のアプローチは、単純なアーキテクチャでより正確なセグメンテーションを可能にし、複雑なデコーダ設計の必要性を緩和する。
論文 参考訳（メタデータ） (2025-08-05T15:36:13Z) - SAM-I2V: Upgrading SAM to Support Promptable Video Segmentation with Less than 0.2% Training Cost [23.51101492249404]
本稿では,PVSモデルを構築するための画像と映像の効果的なアップグレード手法であるSAM-I2Vを紹介する。
我々のアプローチでは、事前訓練されたSAMをPVSをサポートするよう戦略的にアップグレードし、トレーニングの複雑さとリソース要求を大幅に削減する。
論文 参考訳（メタデータ） (2025-06-02T04:30:14Z) - Det-SAM2:Technical Report on the Self-Prompting Segmentation Framework Based on Segment Anything Model 2 [0.0]
本報告では,Det-SAM2フレームワーク全体の構築と,SAM2に適用されたその後の工学的最適化について述べる。
我々は,Det-SAM2フレームワーク上に構築されたアプリケーションを実演する事例を提示する: ビジネスコンテキストから派生したビリヤードシナリオにおけるAIレファリング。
論文 参考訳（メタデータ） (2024-11-28T07:58:30Z) - SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation [51.90445260276897]
我々は,Segment Anything Model 2 (SAM2) がU字型セグメンテーションモデルの強力なエンコーダであることを証明した。
本稿では, SAM2-UNet と呼ばれる, 汎用画像分割のための簡易かつ効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-16T17:55:38Z) - Multi-Scale and Detail-Enhanced Segment Anything Model for Salient Object Detection [58.241593208031816]
Segment Anything Model (SAM) は、強力なセグメンテーションと一般化機能を提供する視覚的基本モデルとして提案されている。
実物検出のためのMDSAM(Multi-scale and Detail-enhanced SAM)を提案する。
実験により,複数のSODデータセット上でのモデルの優れた性能が示された。
論文 参考訳（メタデータ） (2024-08-08T09:09:37Z) - Evaluating SAM2's Role in Camouflaged Object Detection: From SAM to SAM2 [10.751277821864916]
報告によると、SAM2のオートモードでのプロンプトなしで、画像内の異なるオブジェクトを知覚する能力は低下している。
具体的には, この性能低下を評価するために, カモフラージュされた物体検出の課題を用いる。
論文 参考訳（メタデータ） (2024-07-31T13:32:10Z) - TinySAM: Pushing the Envelope for Efficient Segment Anything Model [73.06322749886483]
我々は,強力なゼロショット性能を維持しつつ,小さなセグメントの任意のモデル(TinySAM)を得るためのフレームワークを提案する。
これらすべての提案手法により、TinySAMは計算量を大幅に削減し、エンベロープを効率的なセグメント化タスクにプッシュする。
論文 参考訳（メタデータ） (2023-12-21T12:26:11Z) - RepViT-SAM: Towards Real-Time Segmenting Anything [71.94042743317937]
Segment Anything Model (SAM) は、様々なコンピュータビジョンタスクに対して印象的なゼロショット転送性能を示した。
MobileSAMは蒸留を用いてSAMの重い画像エンコーダをTinyViTに置き換えることを提案する。
RepViT-SAMはMobileSAMよりもはるかに優れたゼロショット転送機能を持ち、推論速度は10倍近い。
論文 参考訳（メタデータ） (2023-12-10T04:42:56Z) - EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment
Anything [36.553867358541154]
Segment Anything Model (SAM)は多くの視覚アプリケーションのための強力なツールとして登場した。
本稿では,軽量なSAMモデルであるEfficientSAMを提案する。
我々のアイデアは、SAM画像エンコーダから特徴を再構築し、効果的な視覚的表現学習を実現するためのマスク付き画像事前学習(SAMI)を活用することに基づいている。
論文 参考訳（メタデータ） (2023-12-01T18:31:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。