論文の概要: Prototype-based Personalized Pruning

• arxiv url: http://arxiv.org/abs/2103.15564v1
• Date: Thu, 25 Mar 2021 05:49:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 14:47:37.467150
• Title: Prototype-based Personalized Pruning
• Title（参考訳）: プロトタイプベースパーソナライズプルーニング
• Authors: Jangho Kim, Simyung Chang, Sungrack Yun, Nojun Kwak
• Abstract要約: プロトタイプベースパーソナライズプルーニング(PPP)という動的パーソナライズ手法 ネットワークを訓練した後、PPPは個人データの特性を表すプロトタイプで簡単にネットワークをプルーニングできます。 コンピュータビジョンとキーワードスポッティングにおけるいくつかのタスクにおけるPPPの有用性を検証する。
• 参考スコア（独自算出の注目度）: 40.660582147511896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, as edge devices such as smartphones become prevalent, there are increasing demands for personalized services. However, traditional personalization methods are not suitable for edge devices because retraining or finetuning is needed with limited personal data. Also, a full model might be too heavy for edge devices with limited resources. Unfortunately, model compression methods which can handle the model complexity issue also require the retraining phase. These multiple training phases generally need huge computational cost during on-device learning which can be a burden to edge devices. In this work, we propose a dynamic personalization method called prototype-based personalized pruning (PPP). PPP considers both ends of personalization and model efficiency. After training a network, PPP can easily prune the network with a prototype representing the characteristics of personal data and it performs well without retraining or finetuning. We verify the usefulness of PPP on a couple of tasks in computer vision and Keyword spotting.
• Abstract（参考訳）: 近年、スマートフォンなどのエッジデバイスの普及に伴い、パーソナライズされたサービスへの需要が高まっている。 しかしながら、従来のパーソナライズ手法は、限られた個人データで再トレーニングや微調整を必要とするため、エッジデバイスには適さない。 また、完全なモデルは限られたリソースを持つエッジデバイスには重すぎるかもしれない。 残念ながら、モデルの複雑さの問題を扱うモデル圧縮メソッドは、再トレーニングフェーズも必要です。 これらの複数のトレーニングフェーズは、デバイス上での学習において大きな計算コストを必要とする。 本研究では,プロトタイプベースパーソナライズプルーニング(PPP)と呼ばれる動的パーソナライズ手法を提案する。 PPPはパーソナライズとモデル効率の両端を考慮する。 ネットワークをトレーニングした後、PPPは個人データの特徴を表すプロトタイプで容易にネットワークを訓練でき、再トレーニングや微調整をすることなく、うまく機能する。 コンピュータビジョンとキーワードスポッティングにおける2つのタスクにおけるPPPの有用性を検証する。

関連論文リスト

• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• Evaluating Privacy Leakage in Split Learning [8.841387955312669]
  オンデバイス機械学習は、推論中にサードパーティサーバと生データを共有しないようにする。 Split Learning(SL)は、制限を克服できる有望なアプローチである。 SLでは、大きな機械学習モデルが2つの部分に分割され、大きな部分はサーバ側にあり、小さな部分はデバイス上で実行される。
  論文  参考訳（メタデータ） (2023-05-22T13:00:07Z)
• Post-Train Adaptive U-Net for Image Segmentation [0.0]
  U-Net+PTAニューラルネットワークを導入し、一度トレーニングし、異なるデバイスパフォーマンスカテゴリに適応する。 ポストトレインの設定は、モバイルを含むあらゆる推論デバイス上で実行時に行うことができる。 PTAアプローチでは、CamVidデータセットのイメージセグメンテーションDiceスコアを改善することができる。
  論文  参考訳（メタデータ） (2023-01-16T11:06:05Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Towards Personalized Intelligence at Scale [5.265714091953279]
  大規模にパーソナライズされたインテリジェンスを実現するために,新しいモデルアーキテクチャとトレーニング/推論フレームワークを導入する。 トレーニング中、基本LMは凍結され、PH内のパラメータのみが更新され、ユーザ毎にユニークである。 その結果、多くのユーザにわたってスケールする従来の微調整アプローチよりも、全体的なモデルサイズとトレーニングコストが大幅に小さくなります。
  論文  参考訳（メタデータ） (2022-03-13T14:49:17Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Continual Learning at the Edge: Real-Time Training on Smartphone Devices [11.250227901473952]
  本稿では,デバイス上でリアルタイムなパーソナライズを実現するために,ネイティブなAndroidアプリケーション上でのハイブリッド学習戦略(AR1*)の実装と展開について述べる。 我々のベンチマークはCORe50データセットの拡張に基づいており、ソリューションの有効性と有効性を示している。
  論文  参考訳（メタデータ） (2021-05-24T12:00:31Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• It's always personal: Using Early Exits for Efficient On-Device CNN Personalisation [19.046126301352274]
  強力なハードウェアとモデル圧縮技術が利用可能になったことにより、デバイス上での機械学習が現実化しつつある。 本研究では、より小さなパーソナライズされたモデルを用いて特定のシナリオに適合させることを観察する。 PershonEPEEは、初期出口をモデルにアタッチし、デバイス上でパーソナライズするフレームワークである。
  論文  参考訳（メタデータ） (2021-02-02T09:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。