論文の概要: CUT: Pruning Pre-Trained Multi-Task Models into Compact Models for Edge Devices
- arxiv url: http://arxiv.org/abs/2504.09803v1
- Date: Mon, 14 Apr 2025 02:04:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:50:31.580742
- Title: CUT: Pruning Pre-Trained Multi-Task Models into Compact Models for Edge Devices
- Title（参考訳）: CUT:エッジデバイスのためのコンパクトモデルに事前訓練されたマルチタスクモデルを実行する
- Authors: Jingxuan Zhou, Weidong Bao, Ji Wang, Zhengyi Zhong,
- Abstract要約: 本稿では,エッジデバイスに特化して設計された,事前学習型マルチタスクモデルプルーニング手法を提案する。
目標は、既存の訓練済みマルチタスクモデルを使用して、エッジデバイスのニーズを満たすコンパクトなマルチタスクモデルを構築することである。
- 参考スコア（独自算出の注目度）: 3.183155931478785
- License:
- Abstract: Multi-task learning has garnered widespread attention in the industry due to its efficient data utilization and strong generalization capabilities, making it particularly suitable for providing high-quality intelligent services to users. Edge devices, as the primary platforms directly serving users, play a crucial role in delivering multi-task services. However, current multi-task models are often large, and user task demands are increasingly diverse. Deploying such models directly on edge devices not only increases the burden on these devices but also leads to task redundancy. To address this issue, this paper innovatively proposes a pre-trained multi-task model pruning method specifically designed for edge computing. The goal is to utilize existing pre-trained multi-task models to construct a compact multi-task model that meets the needs of edge devices. The specific implementation steps are as follows: First, decompose the tasks within the pre-trained multi-task model and select tasks based on actual user needs. Next, while retaining the knowledge of the original pre-trained model, evaluate parameter importance and use a parameter fusion method to effectively integrate shared parameters among tasks. Finally, obtain a compact multi-task model suitable for edge devices. To validate the effectiveness of the proposed method, we conducted experiments on three public image datasets. The experimental results fully demonstrate the superiority and efficiency of this method, providing a new solution for multi-task learning on edge devices.
- Abstract（参考訳）: マルチタスク学習は、効率的なデータ利用と強力な一般化能力により、業界で広く注目を集めている。
ユーザに直接サービスを提供する主要なプラットフォームであるエッジデバイスは、マルチタスクサービスを提供する上で重要な役割を果たす。
しかし、現在のマルチタスクモデルはしばしば大きく、ユーザタスクの要求はますます多様である。
このようなモデルをエッジデバイスに直接デプロイすることで、これらのデバイスに対する負担が増大するだけでなく、タスクの冗長性も向上する。
そこで本稿では,エッジコンピューティングに特化して設計されたマルチタスクモデルプルーニング手法を革新的に提案する。
目標は、既存の訓練済みマルチタスクモデルを使用して、エッジデバイスのニーズを満たすコンパクトなマルチタスクモデルを構築することである。
まず、トレーニング済みのマルチタスクモデル内でタスクを分解し、実際のユーザニーズに基づいてタスクを選択する。
次に、元の事前学習モデルの知識を維持しながら、パラメータの重要性を評価し、パラメータ融合法を用いてタスク間の共有パラメータを効果的に統合する。
最後に、エッジデバイスに適したコンパクトなマルチタスクモデルを得る。
提案手法の有効性を検証するために,3つの公開画像データセットの実験を行った。
実験結果は,エッジデバイス上でのマルチタスク学習のための新しいソリューションとして,本手法の優位性と効率性を十分に示している。
関連論文リスト
- On Giant's Shoulders: Effortless Weak to Strong by Dynamic Logits Fusion [23.63688816017186]
既存の弱強法では、静的な知識伝達比と、複雑な知識を伝達するための単一の小さなモデルを用いることが多い。
本稿では,複数のタスク固有小モデルに対して,それぞれ異なるタスクに特化して動作する動的ロジット融合手法を提案する。
本手法では,シングルタスクシナリオでは96.4%,マルチタスクシナリオでは86.3%のパフォーマンスギャップを埋める。
論文 参考訳（メタデータ） (2024-06-17T03:07:41Z) - Parameter Efficient Multi-task Model Fusion with Partial Linearization [97.23530944186078]
パラメータ効率のよい微調整技術において,マルチタスク融合を改善する新しい手法を提案する。
提案手法は, アダプタモジュールのみを部分的に線形化し, 線形化アダプタにタスク演算を適用する。
我々の部分線形化手法は、複数のタスクをより効果的に1つのモデルに融合させることを可能にしている。
論文 参考訳（メタデータ） (2023-10-07T08:55:54Z) - Device Tuning for Multi-Task Large Model [0.0]
本稿では,クラウドとデバイスをまたいだマルチタスクフレームワークである,効率的なマルチタスクモデルのためのデバイスチューニングを提案する。
具体的には、クラウドモデリングとデバイスモデリングの両方の恩恵を受けるマルチタスクモデルのデバイスチューニングアーキテクチャを設計する。
論文 参考訳（メタデータ） (2023-02-21T16:55:48Z) - Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision
Tasks [36.34331439747556]
本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。
具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
論文 参考訳（メタデータ） (2022-10-07T00:25:02Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2022-03-30T23:16:07Z) - Controllable Dynamic Multi-Task Architectures [92.74372912009127]
本稿では,そのアーキテクチャと重みを動的に調整し,所望のタスク選択とリソース制約に適合させる制御可能なマルチタスクネットワークを提案する。
本稿では,タスク親和性と分岐正規化損失を利用した2つのハイパーネットの非交互トレーニングを提案し,入力の嗜好を取り入れ,適応重み付き木構造モデルを予測する。
論文 参考訳（メタデータ） (2022-03-28T17:56:40Z) - Pruning Pretrained Encoders with a Multitask Objective [12.062758391661847]
シングルタスクモデルのベストアンサンブルに対して,マルチタスクの目的と単一モデルのプルーニングを比較した。
さらなる分析により、マルチタスクの目的をプルーニング中に使用することは、低リソースタスクのモデルサイズの削減に有効な方法であることがわかった。
論文 参考訳（メタデータ） (2021-12-10T17:57:33Z) - Small Towers Make Big Differences [59.243296878666285]
マルチタスク学習は、複数の機械学習タスクを同時に解決することを目的としている。
マルチタスク学習問題に対する優れた解法は、Paretoの最適性に加えて一般化可能であるべきである。
本稿では,マルチタスクモデルのためのパラメータ下自己助詞の手法を提案し,両世界のベストを達成した。
論文 参考訳（メタデータ） (2020-08-13T10:45:31Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。