論文の概要: NuWa: Deriving Lightweight Task-Specific Vision Transformers for Edge Devices

• arxiv url: http://arxiv.org/abs/2504.03118v1
• Date: Fri, 04 Apr 2025 02:19:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:21.917787
• Title: NuWa: Deriving Lightweight Task-Specific Vision Transformers for Edge Devices
• Title（参考訳）: NuWa:エッジデバイス用の軽量タスク特化視覚変換器の派生
• Authors: Ziteng Wei, Qiang He, Bing Li, Feifei Chen, Yun Yang,
• Abstract要約: ビジョントランスフォーマー (ViT) はコンピュータビジョンタスクに優れるが、エッジデバイスの様々なニーズに対する柔軟性に欠ける。 本稿では,特定のタスク要求のあるエッジデバイスに対して,ベースViTから小さなViTを導出するアプローチであるNuWaを提案する。
• 参考スコア（独自算出の注目度）: 12.967092241462598
• License:
• Abstract: Vision Transformers (ViTs) excel in computer vision tasks but lack flexibility for edge devices' diverse needs. A vital issue is that ViTs pre-trained to cover a broad range of tasks are \textit{over-qualified} for edge devices that usually demand only part of a ViT's knowledge for specific tasks. Their task-specific accuracy on these edge devices is suboptimal. We discovered that small ViTs that focus on device-specific tasks can improve model accuracy and in the meantime, accelerate model inference. This paper presents NuWa, an approach that derives small ViTs from the base ViT for edge devices with specific task requirements. NuWa can transfer task-specific knowledge extracted from the base ViT into small ViTs that fully leverage constrained resources on edge devices to maximize model accuracy with inference latency assurance. Experiments with three base ViTs on three public datasets demonstrate that compared with state-of-the-art solutions, NuWa improves model accuracy by up to $\text{11.83}\%$ and accelerates model inference by 1.29$\times$ - 2.79$\times$. Code for reproduction is available at https://anonymous.4open.science/r/Task_Specific-3A5E.
• Abstract（参考訳）: ビジョントランスフォーマー (ViT) はコンピュータビジョンタスクに優れるが、エッジデバイスの様々なニーズに対する柔軟性に欠ける。 重要な問題は、広範囲のタスクをカバーするために事前訓練されたViTが、通常、特定のタスクに対するViTの知識の一部だけを要求するエッジデバイスに対して \textit{over-qualified} であることだ。 これらのエッジデバイス上でのタスク固有の精度は、最適以下である。 デバイス固有のタスクにフォーカスする小さなViTは、モデルの精度を向上し、その間にモデル推論を加速することを発見した。 本稿では,特定のタスク要求のあるエッジデバイスに対して,ベースViTから小さなViTを導出するアプローチであるNuWaを提案する。 NuWaは、ベースViTから抽出されたタスク固有の知識を、エッジデバイス上の制約されたリソースを完全に活用する小さなViTに転送することで、推論遅延保証によるモデルの精度を最大化することができる。 3つの公開データセット上の3つのベースViTによる実験では、最先端のソリューションと比較して、NuWaはモデル精度を最大$\text{11.83}\%$で改善し、モデル推論を1.29$\times$ - 2.79$\times$で加速する。 再生コードはhttps://anonymous.4open.science/r/Task_Specific-3A5Eで公開されている。

関連論文リスト

• ViT-Lens: Towards Omni-modal Representations [64.66508684336614]
  ViT-Lens-2は、モダリティ増加の表現学習のためのフレームワークである。 ViT-Lens-2は3Dポイントクラウド,奥行き,オーディオ,触覚,脳波の表現を学習できることを示す。 ViT-Lens-2をシームレスにMultimodal Foundation Modelsに統合することにより、テキストと画像生成へのAny-modalityを可能にする。
  論文  参考訳（メタデータ） (2023-11-27T18:52:09Z)
• DeViT: Decomposing Vision Transformers for Collaborative Inference in Edge Devices [42.89175608336226]
  ビジョントランス (ViT) は、複数のコンピュータビジョンベンチマークで最先端のパフォーマンスを達成した。 ViTモデルは膨大なパラメータと高い計算コストに悩まされ、リソース制約されたエッジデバイスへのデプロイが困難になる。 本稿では,大規模なViTを分解してエッジ展開を容易にするために,DeViTと呼ばれる協調推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-10T12:26:17Z)
• Compressing Vision Transformers for Low-Resource Visual Learning [7.662469543657508]
  Vision Transformer(ViT)とその変種は、画像分類、オブジェクト検出、セマンティックセグメンテーションといったタスクにおいて最先端の精度を提供する。 これらのモデルは大規模で計算量が多いため、モバイルおよびエッジシナリオへのデプロイメントが制限される。 我々は,蒸留,プルーニング,量子化といった一般的なモデル圧縮技術を活用して,視覚変換器をエッジに持ち込むための一歩を踏み出したい。
  論文  参考訳（メタデータ） (2023-09-05T23:33:39Z)
• ViT-Lens: Initiating Omni-Modal Exploration through 3D Insights [61.36309876889977]
  ViT-Lensは、事前訓練されたViTで新しいモダリティを知覚し、予め定義された空間に整列することで、効率的なOmni-Modal表現学習を可能にする。 ゼロショット3D分類では、ViT-Lensは従来の最先端技術よりも大幅に改善されている。 近い将来、さらなるモダリティに関するViT-Lensの結果を公表します。
  論文  参考訳（メタデータ） (2023-08-20T07:26:51Z)
• Edge-MoE: Memory-Efficient Multi-Task Vision Transformer Architecture with Task-level Sparsity via Mixture-of-Experts [60.1586169973792]
  M$3$ViTは、Mix-of-experts (MoE)を導入した最新のマルチタスクViTモデルである。 MoEは精度の向上と80%以上の削減計算を実現しているが、FPGAに効率的なデプロイを行う上での課題は残されている。 Edge-MoEと呼ばれる私たちの研究は、アーキテクチャの革新の集合を伴って、マルチタスクのViTのための最初のエンドツーエンドFPGAアクセラレータを導入するという課題を解決します。
  論文  参考訳（メタデータ） (2023-05-30T02:24:03Z)
• Rethinking Hierarchicies in Pre-trained Plain Vision Transformer [76.35955924137986]
  マスク付き画像モデリング(MIM)による自己教師付き事前学習型視覚変換器(ViT)は非常に効果的であることが証明されている。 カスタマイズされたアルゴリズムは、平易なViTのためにバニラと単純なMAEを使用する代わりに、例えばGreenMIMのような階層的なViTのために慎重に設計されるべきである。 本稿では,自己指導型事前学習から階層型アーキテクチャ設計を遠ざける新しいアイデアを提案する。
  論文  参考訳（メタデータ） (2022-11-03T13:19:23Z)
• Vision Transformer Adapter for Dense Predictions [57.590511173416445]
  Vision Transformer (ViT) は画像の事前情報がないため、高密度な予測タスクでは性能が劣る。 本稿では、ViTの欠陥を修復し、視覚特化モデルに匹敵する性能を実現するビジョントランスフォーマーアダプタ(ViT-Adapter)を提案する。 我々は、オブジェクト検出、インスタンスセグメンテーション、セマンティックセグメンテーションを含む複数の下流タスクにおけるViT-Adapterの有効性を検証する。
  論文  参考訳（メタデータ） (2022-05-17T17:59:11Z)
• ViT-FOD: A Vision Transformer based Fine-grained Object Discriminator [21.351034332423374]
  細粒度画像分類(FGVC)タスクのための新しいViTに基づく細粒度物体識別器を提案する。 ViTバックボーンの他に、APC(Attention Patch Combination)、CRF(Critical Regions Filter)、CTI(Complementary Tokens Integration)という3つの新しいコンポーネントが導入されている。 我々は広く使われているデータセットに関する包括的な実験を行い、その結果、ViT-FODが最先端のパフォーマンスを達成できることを実証した。
  論文  参考訳（メタデータ） (2022-03-24T02:34:57Z)
• Auto-scaling Vision Transformers without Training [84.34662535276898]
  本研究では,視覚変換器(ViT)の自動スケーリングフレームワークAs-ViTを提案する。 As-ViTは、ViTを効率的かつ原則的に自動的に発見し、スケールアップする。 As-ViTは統合されたフレームワークとして、分類と検出において高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-02-24T06:30:55Z)
• A Unified Pruning Framework for Vision Transformers [40.7622551128182]
  ビジョントランス(ViT)とその変種は様々なコンピュータビジョンタスクにおいて有望な性能を達成した。 本稿では, UP-ViT と UP-ViT の両方の構造解析のための統一的な枠組みを提案する。 本手法は,モデル構造の整合性を維持しつつ,すべてのViTsコンポーネントのプルーニングに重点を置いている。
  論文  参考訳（メタデータ） (2021-11-30T05:01:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。