論文の概要: Compress Any Segment Anything Model (SAM)

• arxiv url: http://arxiv.org/abs/2507.08765v1
• Date: Fri, 11 Jul 2025 17:21:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.44255
• Title: Compress Any Segment Anything Model (SAM)
• Title（参考訳）: Compress Any Segment Anything Model (SAM)
• Authors: Juntong Fan, Zhiwei Hao, Jianqiang Shen, Shang-Ling Jui, Yi Zhang, Jing-Xiao Liao, Feng-Lei Fan,
• Abstract要約: BirkhoffはSegment Anything Modelのための新しいデータフリー圧縮アルゴリズムである。 モデルタイプ間の汎用性、デプロイメントにおけるアジリティ、オリジナルのモデルへの忠実性、モデルサイズにおけるコンパクトさを具現化する。 SAM2-Bの圧縮比は5.17倍で、微調整データを用いることなく1%未満の性能低下を達成できる。
• 参考スコア（独自算出の注目度）: 12.494822406320301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the excellent performance in yielding high-quality, zero-shot segmentation, Segment Anything Model (SAM) and its variants have been widely applied in diverse scenarios such as healthcare and intelligent manufacturing. Therefore, effectively compressing SAMs has become an increasingly pressing practical need. In this study, we propose Birkhoff, a novel data-free compression algorithm for SAM and its variants. Unlike quantization, pruning, distillation, and other compression methods, Birkhoff embodies versatility across model types, agility in deployment, faithfulness to the original model, and compactness in model size. Specifically, Birkhoff introduces a novel compression algorithm: Hyper-Compression, whose core principle is to find a dense trajectory to turn a high-dimensional parameter vector into a low-dimensional scalar. Furthermore, Birkhoff designs a dedicated linear layer operator, HyperLinear, to fuse decompression and matrix multiplication to significantly accelerate inference of the compressed SAMs. Extensive experiments on 18 SAMs in the COCO, LVIS, and SA-1B datasets show that Birkhoff performs consistently and competitively in compression time, compression ratio, post-compression performance, and inference speed. For example, Birkhoff can achieve a compression ratio of 5.17x on SAM2-B, with less than 1% performance drop without using any fine-tuning data. Moreover, the compression is finished within 60 seconds for all models.
• Abstract（参考訳）: 高品質なゼロショットセグメンテーション、セグメンテーションモデル(SAM)とその変種は、医療やインテリジェント製造といった様々なシナリオに広く応用されている。 したがって、SAMを効果的に圧縮することは、ますます現実的な必要性が高まっている。 本研究では,SAMとその変種に対する新しいデータフリー圧縮アルゴリズムであるBirkhoffを提案する。 量子化、プルーニング、蒸留、その他の圧縮方法とは異なり、バーコフはモデルタイプ、デプロイメントにおけるアジリティ、オリジナルのモデルへの忠実さ、モデルサイズにおけるコンパクトさを具現化している。 ハイパー圧縮(Hyper-Compression)は、高次元のパラメータベクトルを低次元のスカラーに変換するための高密度な軌跡を見つけるのが基本原理である。 さらに、Birkhoff氏は、圧縮されたSAMの推論を著しく高速化するために、ヒューズ除圧と行列乗算のために、専用線形層演算子HyperLinearを設計した。 COCO、LVIS、SA-1Bデータセットの18個のSAMの大規模な実験により、Birkhoffは圧縮時間、圧縮比、圧縮後の性能、推論速度で一貫して競合することを示した。 例えば、BirkhoffはSAM2-Bで5.17倍の圧縮比を達成でき、微調整データを使わずに1%未満のパフォーマンス低下を達成できる。 さらに、圧縮は全モデルで60秒以内に完了する。

関連論文リスト

• When Compression Meets Model Compression: Memory-Efficient Double Compression for Large Language Models [12.687035979970194]
  本稿では,量子化後の大規模言語モデル(LLM)を圧縮するフレームワークを提案する。 量子化に先立ってモデルパラメータを再スケーリングすることにより, モデル重量圧縮性を高めるために, 圧縮対応量子化法が最初に提案され, さらにさらに改良するプルーニング法が提案されている。 圧縮されたモデルによる推論は、精度と推論速度の損失を無視して、メモリサイズを40%削減できることを示す実験である。
  論文  参考訳（メタデータ） (2025-02-21T13:11:22Z)
• Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
  イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。 ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• BiMaCoSR: Binary One-Step Diffusion Model Leveraging Flexible Matrix Compression for Real Super-Resolution [63.777210548110425]
  本稿では,バイナライゼーションと1段階蒸留を組み合わせたBiMaCoSRを提案する。 BiMaCoSRはFPに比べて23.8倍圧縮率と27.4倍スピードアップ比を達成した。
  論文  参考訳（メタデータ） (2025-02-01T06:34:55Z)
• Compression via Pre-trained Transformers: A Study on Byte-Level Multimodal Data [8.475091996107741]
  我々は、事前学習したトランスフォーマーが競合圧縮比を達成できるスイートスポットを見つけるために、大規模な研究を行う。 比較的小さなパラメータは、標準的な汎用圧縮アルゴリズムより優れていることが判明した。 たとえ小さなモデルであっても、複数のモダリティでうまく機能するように訓練できるが、大規模な基礎モデルとは異なり、目に見えないモダリティへの移動は一般的に弱い。
  論文  参考訳（メタデータ） (2024-10-07T14:32:03Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• SlimSAM: 0.1% Data Makes Segment Anything Slim [52.96232442322824]
  本稿では,新しいデータ効率のSAM圧縮手法であるSlimSAMを紹介する。 SlimSAMは、非常に少ないトレーニングデータで優れたパフォーマンスを達成する。 コードはhttp://github.com/czg1225/SlimSAMで入手できる。
  論文  参考訳（メタデータ） (2023-12-08T12:48:53Z)
• DiffRate : Differentiable Compression Rate for Efficient Vision Transformers [98.33906104846386]
  Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。 DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
  論文  参考訳（メタデータ） (2023-05-29T10:15:19Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。