論文の概要: TAP-ViTs: Task-Adaptive Pruning for On-Device Deployment of Vision Transformers

• arxiv url: http://arxiv.org/abs/2601.02437v1
• Date: Mon, 05 Jan 2026 09:00:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.666275
• Title: TAP-ViTs: Task-Adaptive Pruning for On-Device Deployment of Vision Transformers
• Title（参考訳）: TAP-ViTs:視覚変換器のオンデバイス展開のためのタスク適応型プルーニング
• Authors: Zhibo Wang, Zuoyuan Zhang, Xiaoyi Pang, Qile Zhang, Xuanyi Hao, Shuguo Zhuo, Peng Sun,
• Abstract要約: ビジョントランスフォーマー(ViT)は、幅広いビジョンタスクにおいて強力なパフォーマンスを示しているが、その相当な計算とメモリ要求は、リソースに制約のあるモバイルおよびエッジデバイスへの効率的なデプロイを妨げる。 本稿では,ローカルデータへのアクセスを必要とせず,デバイス固有のプルーニングViTモデルを生成する新しいタスク適応型プルーニングフレームワークであるTAP-ViTを紹介する。
• 参考スコア（独自算出の注目度）: 9.270463842274394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Transformers (ViTs) have demonstrated strong performance across a wide range of vision tasks, yet their substantial computational and memory demands hinder efficient deployment on resource-constrained mobile and edge devices. Pruning has emerged as a promising direction for reducing ViT complexity. However, existing approaches either (i) produce a single pruned model shared across all devices, ignoring device heterogeneity, or (ii) rely on fine-tuning with device-local data, which is often infeasible due to limited on-device resources and strict privacy constraints. As a result, current methods fall short of enabling task-customized ViT pruning in privacy-preserving mobile computing settings. This paper introduces TAP-ViTs, a novel task-adaptive pruning framework that generates device-specific pruned ViT models without requiring access to any raw local data. Specifically, to infer device-level task characteristics under privacy constraints, we propose a Gaussian Mixture Model (GMM)-based metric dataset construction mechanism. Each device fits a lightweight GMM to approximate its private data distribution and uploads only the GMM parameters. Using these parameters, the cloud selects distribution-consistent samples from public data to construct a task-representative metric dataset for each device. Based on this proxy dataset, we further develop a dual-granularity importance evaluation-based pruning strategy that jointly measures composite neuron importance and adaptive layer importance, enabling fine-grained, task-aware pruning tailored to each device's computational budget. Extensive experiments across multiple ViT backbones and datasets demonstrate that TAP-ViTs consistently outperforms state-of-the-art pruning methods under comparable compression ratios.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は、幅広いビジョンタスクにおいて強力なパフォーマンスを示しているが、その相当な計算とメモリ要求は、リソースに制約のあるモバイルおよびエッジデバイスへの効率的なデプロイを妨げる。 プルーニングは、ViT複雑性を減らすための有望な方向として登場した。 しかし、既存のアプローチもそうである。 i) デバイスの不均一性を無視して、すべてのデバイスで共有される単一のプルーンドモデルを作成すること デバイス上のリソースの制限と厳格なプライバシー制約のため,多くの場合,実現不可能なデバイスローカルデータによる微調整に依存している。 結果として、現在の手法では、プライバシを保存するモバイルコンピューティング設定でタスクをカスタマイズしたViTプルーニングができない。 本稿では,ローカルデータへのアクセスを必要とせず,デバイス固有のプルーニングViTモデルを生成する新しいタスク適応型プルーニングフレームワークであるTAP-ViTを紹介する。 具体的には、プライバシ制約下でのデバイスレベルのタスク特性を推定するために、ガウス混合モデル(GMM)に基づくメトリクスデータセット構築機構を提案する。 各デバイスは、そのプライベートデータ分布を近似するために軽量のGMMに適合し、GMMパラメータのみをアップロードする。 これらのパラメータを使用して、クラウドはパブリックデータから分散一貫性のあるサンプルを選択し、各デバイス用のタスク表現型メトリックデータセットを構築する。 このプロキシデータセットに基づいて、複合ニューロン重要度と適応層重要度を共同で測定し、各装置の計算予算に合わせた細粒度タスク対応プルーニングを可能にする、二重粒度重要度評価に基づくプルーニング戦略をさらに発展させる。 複数のViTバックボーンとデータセットにわたる大規模な実験により、TAP-ViTsは同等の圧縮比で最先端のプルーニング手法より一貫して優れていることが示された。

関連論文リスト

• Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging [62.61159948488935]
  Decomposition, Thresholding, and Scaling (DTS)は近似ベースのパーソナライズされたマージフレームワークである。 DTSは、最小のストレージオーバーヘッドでタスク固有の情報を保存する。 タスク特性のセマンティックな類似性に基づいて、DTSをデータフリーでタスク固有の情報を融合する変種で拡張する。
  論文  参考訳（メタデータ） (2025-12-01T09:47:17Z)
• Tackling Device Data Distribution Real-time Shift via Prototype-based Parameter Editing [101.07855433979519]
  本稿では,展開後再訓練を伴わずにモデル一般化を促進するパーソナライズ手法であるペルソナを紹介する。 Personaはクラウドにニューラルネットワークを使用し、リアルタイムデバイスデータに基づいてパラメータ編集行列を生成する。 プロトタイプはパラメータ編集マトリックスを介して動的に洗練され、効率的な進化を促進する。
  論文  参考訳（メタデータ） (2025-09-08T11:06:50Z)
• VAE-based Feature Disentanglement for Data Augmentation and Compression in Generalized GNSS Interference Classification [42.14439854721613]
  干渉の正確な分類を可能にする重要な潜伏特徴を抽出するために, アンタングル化のための変分オートエンコーダ (VAE) を提案する。 提案するVAEは512から8,192の範囲のデータ圧縮率を実現し,99.92%の精度を実現している。
  論文  参考訳（メタデータ） (2025-04-14T13:38:00Z)
• STAMP: Scalable Task And Model-agnostic Collaborative Perception [24.890993164334766]
  STAMPは、異種エージェントのためのタスクおよびモデルに依存しない協調認識パイプラインである。 計算オーバーヘッドを最小限に抑え、スケーラビリティを高め、モデルのセキュリティを維持する。 第一種フレームワークとしてSTAMPは,スケーラブルでセキュアなモビリティシステムの研究を,レベル5の自律性に向けて進めることを目指している。
  論文  参考訳（メタデータ） (2025-01-24T16:27:28Z)
• Efficient Partitioning Vision Transformer on Edge Devices for Distributed Inference [13.533267828812455]
  本稿では,複数のエッジデバイスにまたがる複雑な視覚変換器を効率的に分割・実行するための新しいフレームワークED-ViTを提案する。 私たちのアプローチでは、Vision Transformerモデルをいくつかのサブモデルに分割し、それぞれがデータクラスの特定のサブセットを処理する。 本研究では,エッジデバイスにおける推論遅延を大幅に削減し,モデルサイズを最大28.9倍,34.1倍に削減できることを実証した。
  論文  参考訳（メタデータ） (2024-10-15T14:38:14Z)
• UL-VIO: Ultra-lightweight Visual-Inertial Odometry with Noise Robust Test-time Adaptation [12.511829774226113]
  視覚-慣性整合性に基づくテスト時間適応(TTA)が可能な超軽量 (1M) 視覚慣性オドメトリー (VIO) ネットワークを提案する。 KITTIデータセットで1分間のエラー増加 – 1% – で、最先端のネットワークサイズよりも36倍小さなネットワークサイズを実現している。
  論文  参考訳（メタデータ） (2024-09-19T22:24:14Z)
• Hierarchical Side-Tuning for Vision Transformers [33.536948382414316]
  微調整された事前訓練された視覚変換器(ViTs)は、視覚認識タスクの強化に大きく貢献している。 PETLは、完全な微調整に比べてパラメータ更新が少なく、高いパフォーマンスを実現する可能性がある。 本稿では,多様な下流タスクへのVTモデルの転送を容易にする革新的PETL手法である階層側チューニング(HST)を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T04:16:35Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Pruning Self-attentions into Convolutional Layers in Single Path [89.55361659622305]
  ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクに対して印象的なパフォーマンスを実現している。 トレーニング済みのViTを効率よく自動圧縮するSPViT(Single-Path Vision Transformer pruning)を提案する。 われわれのSPViTはDeiT-Bで52.0%のFLOPをトリミングできる。
  論文  参考訳（メタデータ） (2021-11-23T11:35:54Z)
• SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices [69.1412199244903]
  エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
  論文  参考訳（メタデータ） (2021-09-08T22:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。