論文の概要: It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation

• arxiv url: http://arxiv.org/abs/2102.01393v1
• Date: Tue, 2 Feb 2021 09:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-03 16:22:29.126341
• Title: It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation
• Title（参考訳）: 常に個人的: デバイス上でのCNNのパーソナライゼーションにEarly Exitsを使う
• Authors: Ilias Leontiadis, Stefanos Laskaridis, Stylianos I. Venieris, Nicholas D. Lane
• Abstract要約: 強力なハードウェアとモデル圧縮技術が利用可能になったことにより、デバイス上での機械学習が現実化しつつある。 本研究では、より小さなパーソナライズされたモデルを用いて特定のシナリオに適合させることを観察する。 PershonEPEEは、初期出口をモデルにアタッチし、デバイス上でパーソナライズするフレームワークである。
• 参考スコア（独自算出の注目度）: 19.046126301352274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device machine learning is becoming a reality thanks to the availability of powerful hardware and model compression techniques. Typically, these models are pretrained on large GPU clusters and have enough parameters to generalise across a wide variety of inputs. In this work, we observe that a much smaller, personalised model can be employed to fit a specific scenario, resulting in both higher accuracy and faster execution. Nevertheless, on-device training is extremely challenging, imposing excessive computational and memory requirements even for flagship smartphones. At the same time, on-device data availability might be limited and samples are most frequently unlabelled. To this end, we introduce PersEPhonEE, a framework that attaches early exits on the model and personalises them on-device. These allow the model to progressively bypass a larger part of the computation as more personalised data become available. Moreover, we introduce an efficient on-device algorithm that trains the early exits in a semi-supervised manner at a fraction of the whole network's personalisation time. Results show that PersEPhonEE boosts accuracy by up to 15.9% while dropping the training cost by up to 2.2x and inference latency by 2.2-3.2x on average for the same accuracy, depending on the availability of labels on-device.
• Abstract（参考訳）: 強力なハードウェアとモデル圧縮技術のおかげで、オンデバイス機械学習は現実的になっています。 通常、これらのモデルは大きなGPUクラスタ上で事前訓練され、幅広い入力を一般化するのに十分なパラメータを持つ。 この研究では、より小さく、パーソナライズされたモデルを特定のシナリオに適合させることで、高い精度と高速な実行を可能にしている。 それでもデバイス上でのトレーニングは非常に困難であり、フラッグシップスマートフォンでも過剰な計算とメモリを必要とする。 同時に、デバイス上のデータ可用性は制限され、サンプルのラベルが付けられないことが多い。 この目的のために、モデルに早期出口を添付し、デバイス上でそれらをパーソナライズするフレームワークであるPersEPhonEEを紹介します。 これにより、よりパーソナライズされたデータが利用可能になると、モデルが計算の大部分を段階的にバイパスすることができる。 さらに,ネットワーク全体のパーソナライズ時間のごく一部で,早期出口を半教師付きで訓練する効率的なオンデバイスアルゴリズムを提案する。 その結果、PersEPhonEEは、トレーニングコストを最大2.2倍、推論レイテンシを平均2.2-3.2倍まで下げながら、最大15.9%の精度を、デバイス上のラベルの可用性に応じて向上させる。

関連論文リスト

• An Ensemble Mobile-Cloud Computing Method for Affordable and Accurate Glucometer Readout [0.0]
  本稿では,アンサンブル学習アルゴリズム,モバイル・クラウド・コンピューティング・サービスアーキテクチャ,高可用性と迅速な応答時間を実現するためのシンプルな圧縮手法を提案する。 提案手法は,2つの異なるデータセットに対して92.1%と97.7%の精度を実現し,従来の手法を40%改善し,(2) 必要な帯域幅を,1%の精度で45倍削減し,(3) モバイル専用,クラウド専用,スプリットコンピューティング,早期終了サービスモデルと比較して,優れた可用性を提供する。
  論文  参考訳（メタデータ） (2023-01-04T18:48:53Z)
• On-Device Training Under 256KB Memory [65.76525493087847]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは、小さなIoTデバイス上での視覚認識のデバイス上での転送学習のための、最初の実用的なソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Building a Performance Model for Deep Learning Recommendation Model Training on GPUs [6.05245376098191]
  我々は、ディープラーニング勧告モデル(DLRM)のGPUトレーニングのためのパフォーマンスモデルを作成する。 デバイスアクティブ時間(カーネルランタイムの総和)とデバイスアイドル時間の両方が、デバイスタイム全体の重要なコンポーネントであることを示す。 本稿では,その実行グラフをトラバースすることで,DLRMのバッチごとのトレーニング時間を予測できるクリティカルパスベースのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-19T19:05:42Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Continual Learning at the Edge: Real-Time Training on Smartphone Devices [11.250227901473952]
  本稿では,デバイス上でリアルタイムなパーソナライズを実現するために,ネイティブなAndroidアプリケーション上でのハイブリッド学習戦略(AR1*)の実装と展開について述べる。 我々のベンチマークはCORe50データセットの拡張に基づいており、ソリューションの有効性と有効性を示している。
  論文  参考訳（メタデータ） (2021-05-24T12:00:31Z)
• Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
  BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。 我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。 具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
  論文  参考訳（メタデータ） (2020-09-15T01:59:17Z)
• Multi-node Bert-pretraining: Cost-efficient Approach [6.5998084177955425]
  大規模トランスフォーマーベースの言語モデルは、多くの自然言語処理(NLP)タスクの最先端結果にエキサイティングな飛躍をもたらした。 大規模な教師なしデータセットの出現により、単一のトレーニングエポック内のデータサンプルの増加により、トレーニング時間がさらに延長される。 学術的な環境では、適切な時間予算(12日)でBERTの事前訓練を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-01T05:49:20Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。