論文の概要: It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation

• arxiv url: http://arxiv.org/abs/2102.01393v1
• Date: Tue, 2 Feb 2021 09:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 16:22:29.126341
• Title: It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation
• Title（参考訳）: 常に個人的: デバイス上でのCNNのパーソナライゼーションにEarly Exitsを使う
• Authors: Ilias Leontiadis, Stefanos Laskaridis, Stylianos I. Venieris, Nicholas D. Lane
• Abstract要約: 強力なハードウェアとモデル圧縮技術が利用可能になったことにより、デバイス上での機械学習が現実化しつつある。 本研究では、より小さなパーソナライズされたモデルを用いて特定のシナリオに適合させることを観察する。 PershonEPEEは、初期出口をモデルにアタッチし、デバイス上でパーソナライズするフレームワークである。
• 参考スコア（独自算出の注目度）: 19.046126301352274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device machine learning is becoming a reality thanks to the availability of powerful hardware and model compression techniques. Typically, these models are pretrained on large GPU clusters and have enough parameters to generalise across a wide variety of inputs. In this work, we observe that a much smaller, personalised model can be employed to fit a specific scenario, resulting in both higher accuracy and faster execution. Nevertheless, on-device training is extremely challenging, imposing excessive computational and memory requirements even for flagship smartphones. At the same time, on-device data availability might be limited and samples are most frequently unlabelled. To this end, we introduce PersEPhonEE, a framework that attaches early exits on the model and personalises them on-device. These allow the model to progressively bypass a larger part of the computation as more personalised data become available. Moreover, we introduce an efficient on-device algorithm that trains the early exits in a semi-supervised manner at a fraction of the whole network's personalisation time. Results show that PersEPhonEE boosts accuracy by up to 15.9% while dropping the training cost by up to 2.2x and inference latency by 2.2-3.2x on average for the same accuracy, depending on the availability of labels on-device.
• Abstract（参考訳）: 強力なハードウェアとモデル圧縮技術のおかげで、オンデバイス機械学習は現実的になっています。 通常、これらのモデルは大きなGPUクラスタ上で事前訓練され、幅広い入力を一般化するのに十分なパラメータを持つ。 この研究では、より小さく、パーソナライズされたモデルを特定のシナリオに適合させることで、高い精度と高速な実行を可能にしている。 それでもデバイス上でのトレーニングは非常に困難であり、フラッグシップスマートフォンでも過剰な計算とメモリを必要とする。 同時に、デバイス上のデータ可用性は制限され、サンプルのラベルが付けられないことが多い。 この目的のために、モデルに早期出口を添付し、デバイス上でそれらをパーソナライズするフレームワークであるPersEPhonEEを紹介します。 これにより、よりパーソナライズされたデータが利用可能になると、モデルが計算の大部分を段階的にバイパスすることができる。 さらに,ネットワーク全体のパーソナライズ時間のごく一部で,早期出口を半教師付きで訓練する効率的なオンデバイスアルゴリズムを提案する。 その結果、PersEPhonEEは、トレーニングコストを最大2.2倍、推論レイテンシを平均2.2-3.2倍まで下げながら、最大15.9%の精度を、デバイス上のラベルの可用性に応じて向上させる。

関連論文リスト

• Cross-Architecture Auxiliary Feature Space Translation for Efficient Few-Shot Personalized Object Detection [28.06000586370357]
  我々はAuXFTと呼ばれるインスタンスレベルのパーソナライズされたオブジェクト検出戦略を提案する。 その結果,AuXFTは推定時間のわずか32%で上界80%に到達した。 我々は、IPODタスク用に設計された3つの公開データセットと1つの社内ベンチマークでAuXFTを検証する。
  論文  参考訳（メタデータ） (2024-07-01T11:33:53Z)
• DAISY: Data Adaptive Self-Supervised Early Exit for Speech Representation Models [55.608981341747246]
  本稿では,データ適応型自己監督早期退避(DAISY)を導入する。 DAISYの適応性に関する分析では、ノイズの多いデータ上で(より多くのレイヤを使用して)遅い時間に、クリーンデータ上で(より少ないレイヤを使用して)モデルが早期に(より少ないレイヤを使用して)終了することを示しています。
  論文  参考訳（メタデータ） (2024-06-08T12:58:13Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Building a Performance Model for Deep Learning Recommendation Model Training on GPUs [6.05245376098191]
  我々は、ディープラーニング勧告モデル(DLRM)のGPUトレーニングのためのパフォーマンスモデルを作成する。 デバイスアクティブ時間(カーネルランタイムの総和)とデバイスアイドル時間の両方が、デバイスタイム全体の重要なコンポーネントであることを示す。 本稿では,その実行グラフをトラバースすることで,DLRMのバッチごとのトレーニング時間を予測できるクリティカルパスベースのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-19T19:05:42Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
  BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。 我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。 具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
  論文  参考訳（メタデータ） (2020-09-15T01:59:17Z)
• Multi-node Bert-pretraining: Cost-efficient Approach [6.5998084177955425]
  大規模トランスフォーマーベースの言語モデルは、多くの自然言語処理(NLP)タスクの最先端結果にエキサイティングな飛躍をもたらした。 大規模な教師なしデータセットの出現により、単一のトレーニングエポック内のデータサンプルの増加により、トレーニング時間がさらに延長される。 学術的な環境では、適切な時間予算(12日)でBERTの事前訓練を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-01T05:49:20Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。