論文の概要: Carve VFM: Carving Specialists out of Generalists, Automatic Task-Specific Compression of Vision Foundation Models
- arxiv url: http://arxiv.org/abs/2610.16813v1
- Date: Mon, 12 Oct 2026 14:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:26:58.473534
- Title: Carve VFM: Carving Specialists out of Generalists, Automatic Task-Specific Compression of Vision Foundation Models
- Title（参考訳）: Carve VFM: ビジョンファウンデーションモデルの自動圧縮
- Abstract要約: 層間のタスク固有のキャパシティ割り当てをVFMで検索する。
Carve VFMは8つのバックボーン予算構成のうち7つの平均精度を報告している。
- 参考スコア（独自算出の注目度）: 3.7447294975378522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision foundation models (VFMs) provide transferable visual representations, but their inference cost limits deployment in many settings. Fine-tuning specializes a VFM without shrinking it; distillation shrinks it, but through expensive teacher-guided training. Structured pruning offers a more direct route by extracting a compact subnetwork from the VFM. However, as compression gets aggressive, existing methods fail because they treat subnetwork selection and recovery as separate axes. Across layers, capacity must follow task sensitivity rather than spread uniformly. Within a layer, a removal cannot be judged by importance alone; its impact also depends on how well the lost contribution can be recovered from what remains. Selection and recovery must therefore be decided jointly. We introduce Carve VFM, which resolves this interdependence. Given a VFM, a calibration set, and a parameter budget, it (i) searches for task-specific capacity allocations across layers; (ii) guides the search via an adaptive recovery-aware fitness criterion; and (iii) reconstructs removed behavior through iterative closed-form low-rank corrections merged into the surviving weights. The result is a dense encoder produced in minutes on a single GPU without backbone retraining. Across twelve benchmarks and four models from DINOv3 and MetaCLIP-2, Carve VFM achieves the highest reported mean accuracy in seven of eight backbone-budget configurations among the evaluated dense structured-pruning methods. Further fine-tuning surpasses the strongest evaluated edge model (88.1% vs. 85.8%), and carved models cut compute and memory while delivering 1.3-2.0x higher GPU throughput than the uncompressed one. These results show that the compact model you need is inside the VFM; it only has to be carved out.
- Abstract（参考訳）: ビジョンファウンデーションモデル(VFM)は、転送可能な視覚表現を提供するが、その推論コストは多くの設定でのデプロイメントを制限する。
微細チューニングは、VFMを縮小することなく専門とし、蒸留はそれを縮小するが、高価な教師指導によって訓練を行う。
構造化プルーニングは、VFMからコンパクトサブネットワークを抽出することで、より直接的な経路を提供する。
しかし、圧縮が攻撃的になると、サブネットワークの選択とリカバリを別々の軸として扱うため、既存の手法は失敗する。
レイヤ全体では、キャパシティは均一に分散するのではなく、タスクの感度に従わなければならない。
レイヤ内では、削除は重要性だけでは判断できない。その影響は、失われたコントリビューションが残っているものからどれだけうまく回収できるかにも依存する。
したがって、選択と回復は共同で行う必要がある。
本稿では,この相互依存を解消する Carve VFM を紹介する。
VFM、校正セット、パラメータ予算が与えられた場合
一 層にまたがるタスク固有の容量割り当ての検索
(二)適応回復対応適合度基準による探索の案内、及び
三 繰り返し閉形式低ランク補正により除去行動の再構築を残余重量にマージする。
その結果、バックボーンの再トレーニングなしで、単一のGPU上で数分で生成される高密度エンコーダが実現した。
12のベンチマークとDINOv3とMetaCLIP-2の4つのモデルにおいて、Carve VFMは、評価された高密度構造解析法のうち8つのバックボーン予算構成のうち7つの平均精度を達成している。
さらなる微調整は、最も評価の高いエッジモデル(88.1%対85.8%)を超え、彫刻されたモデルは計算とメモリをカットし、圧縮されていないモデルよりも1.3-2.0倍高いGPUスループットを提供する。
これらの結果は、必要なコンパクトモデルがVFM内にあることを示している。
関連論文リスト
- Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation [68.73567966621631]
最新の画像生成および編集モデルを再開発する一連の手法であるMarigoldを、最先端の単眼深度推定器に再検討する。
我々のレシピは、事前訓練されたマルチステップフローマッチングモデルから単一ステップの推論を目標とし、必要に応じて量子化を行い、安価な実行環境を維持しながらモデルキャパシティを保存する。
その結果,AbsRel は KITTI や ETH3D よりも16～26% 向上した。
論文 参考訳（メタデータ） (2026-09-08T00:52:01Z) - Dense Structural Compression of Transformers via Gauge-Correct Channel Removal [11.681900731333926]
トークン当たりの推論エネルギーは、デプロイされたトランスフォーマーのコストと炭素フットプリントを駆動する。
我々は,単位計算当たりの実用性を最大化するために,訓練中に構造的複雑性を適応させる手法を開発した。
チャネルペナルティはテンソルスライス全体をゼロにし、密度とネットワーク機能を保ちながら物理的除去を可能にする。
論文 参考訳（メタデータ） (2026-09-07T09:20:59Z) - Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。
微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。
我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
論文 参考訳（メタデータ） (2026-08-27T08:02:05Z) - SFMformer: A Spatial-Frequency Modulation Transformer for Lightweight Image Super-Resolution [0.3262230127283452]
本稿では,このようなネットワークを改善することの意味が,スパーシフィケーションによって変化することを観察する。
濃密な注意層には、表現品質が重要となる1つの場所がある。
本研究では,2分岐空間拡張をウェーブレット領域の変調とプログレッシブフォーカスアテンションの入力にペアリングし,SFMフォーマを形成する。
論文 参考訳（メタデータ） (2026-08-18T16:20:07Z) - Spatial-Aware Reduction Framework: Towards Efficient and Faithful Visual State Space Models [71.59431204970339]
STORMは空間対応のトークン還元フレームワークである。
空間単位上の構造演算に還元を再構成する。
様々なビジョンのMambaバックボーンにまたがって最先端のプルーニング精度を実現する。
論文 参考訳（メタデータ） (2026-06-18T08:31:11Z) - D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities [54.87947751720332]
欠落モード設定下での安定した性能を維持するために,新しいセグメンテーションモデルD3Segを提案する。
提案モデルでは, 腫瘍造影法 (ET) で約1.5～2.0%, 腫瘍コア法 (TC) で約1.0%, 複数の欠損モードで約1.0%を達成している。
論文 参考訳（メタデータ） (2026-05-21T09:55:42Z) - CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Vision Transformers [2.4851388650413866]
ビジョン変換器は高い精度を実現するが、高い計算とメモリコストを発生させる。
我々は、視覚変換器のためのクローズドフォームワンショット構造化プルーニングフレームワーク、textbfCORPを提案する。
論文 参考訳（メタデータ） (2026-02-05T03:03:17Z) - Post-Training Probability Manifold Correction via Structured SVD Pruning and Self-Referential Distillation [0.0]
Sparse Knowledge Distillation (SparseKD) は、構造化SVDプルーニングと自己参照知識蒸留を組み合わせることでトランスフォーマーモデルを圧縮する手法である。
SparseKDは、外部のスーパー教師、アーキテクチャの変更、カスタム推論カーネルを必要としないため、既存のインフラで即座にデプロイできる。
論文 参考訳（メタデータ） (2026-01-30T22:42:02Z) - MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。
ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
論文 参考訳（メタデータ） (2026-01-15T15:15:53Z) - LFM2 Technical Report [87.58431408281973]
LFM2は、デバイス上での効率的なデプロイと強力なタスク機能を実現するために設計された、Liquid Foundation Modelsのファミリーである。
LFM2ファミリーは350M-8.3Bパラメータをカバーしており、密度の高いモデル(350M, 700M, 1.2B, 2.6B)と試験用混合物(合計8.3B, 1.5B)を含んでいる。
視覚遅延タスクのためのLFM2-VL,音声のためのLFM2-Audio,検索のためのLFM2-ColBERTを構築した。
論文 参考訳（メタデータ） (2025-11-28T17:56:35Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳（メタデータ） (2022-07-28T16:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。