論文の概要: PRIOT: Pruning-Based Integer-Only Transfer Learning for Embedded Systems

• arxiv url: http://arxiv.org/abs/2503.16860v1
• Date: Fri, 21 Mar 2025 05:07:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:03.144018
• Title: PRIOT: Pruning-Based Integer-Only Transfer Learning for Embedded Systems
• Title（参考訳）: PRIOT:組み込みシステムのためのPruning-based Integer-Only Transfer Learning
• Authors: Honoka Anada, Sefutsu Ryu, Masayuki Usui, Tatsuya Kaneko, Shinya Takamaeda-Yamazaki,
• Abstract要約: 我々は、重みを更新するのではなく、選択したエッジを刈り取ることにより、ネットワークを最適化するPRIOTという新しいトレーニング手法を提案する。 Raspberry Pi PicoにPRIOTとPRIOT-Sを実装し,その精度と計算コストを評価する。 PRIOT-Sはメモリフットプリントを最小限の精度で削減するのに対し,PRIOT-Sは既存の手法に比べて8.08～33.75ポイントの精度向上を図っている。
• 参考スコア（独自算出の注目度）: 1.4779899760345436
• License:
• Abstract: On-device transfer learning is crucial for adapting a common backbone model to the unique environment of each edge device. Tiny microcontrollers, such as the Raspberry Pi Pico, are key targets for on-device learning but often lack floating-point units, necessitating integer-only training. Dynamic computation of quantization scale factors, which is adopted in former studies, incurs high computational costs. Therefore, this study focuses on integer-only training with static scale factors, which is challenging with existing training methods. We propose a new training method named PRIOT, which optimizes the network by pruning selected edges rather than updating weights, allowing effective training with static scale factors. The pruning pattern is determined by the edge-popup algorithm, which trains a parameter named score assigned to each edge instead of the original parameters and prunes the edges with low scores before inference. Additionally, we introduce a memory-efficient variant, PRIOT-S, which only assigns scores to a small fraction of edges. We implement PRIOT and PRIOT-S on the Raspberry Pi Pico and evaluate their accuracy and computational costs using a tiny CNN model on the rotated MNIST dataset and the VGG11 model on the rotated CIFAR-10 dataset. Our results demonstrate that PRIOT improves accuracy by 8.08 to 33.75 percentage points over existing methods, while PRIOT-S reduces memory footprint with minimal accuracy loss.
• Abstract（参考訳）: デバイス上での転送学習は、共通のバックボーンモデルを各エッジデバイスのユニークな環境に適応させる上で重要である。 Raspberry Pi Picoのような小さなマイクロコントローラは、デバイス上での学習の主要なターゲットであるが、浮動小数点ユニットが欠如しており、整数のみのトレーニングを必要としている。 従来の研究で採用されていた量子化スケール因子の動的計算は、高い計算コストを発生させる。 そこで本研究では,既存の学習手法では難しい静的スケール因子を用いた整数のみの学習に焦点を当てた。 重みを更新するのではなく、選択したエッジを刈り取ることでネットワークを最適化し、静的スケールファクターによる効果的なトレーニングを可能にするPRIOTという新しいトレーニング手法を提案する。 プルーニングパターンはエッジポップアップアルゴリズムによって決定され、元のパラメータの代わりに各エッジに割り当てられた名前付きスコアをトレーニングし、推論の前に低いスコアでエッジをプルーニングする。 さらに,ごく少数のエッジにのみスコアを割り当てるメモリ効率の良い変種であるPRIOT-Sを導入する。 Raspberry Pi PiにPRIOTとPRIOT-Sを実装し, 回転したMNISTデータセットのCNNモデルと回転したCIFAR-10データセットのVGG11モデルを用いて, 精度と計算コストを評価した。 PRIOT-Sはメモリフットプリントを最小限の精度で削減するのに対し,PRIOT-Sは既存の手法に比べて8.08～33.75ポイントの精度向上を図っている。

関連論文リスト

• Stepping Forward on the Last Mile [8.756033984943178]
  本稿では,バックプロパゲーションと比較してメモリフットプリントと精度のギャップを低減させるアルゴリズムの一連の拡張を提案する。 その結果、エッジデバイス上でのモデルカスタマイズの最後のマイルでは、固定点前方勾配によるトレーニングが実現可能で実践的なアプローチであることが示されている。
  論文  参考訳（メタデータ） (2024-11-06T16:33:21Z)
• Learning effective pruning at initialization from iterative pruning [15.842658282636876]
  本稿では、トレーニングコストを削減するために、エンドツーエンドのニューラルネットワークに基づくPaI手法を提案する。 提案手法は, 既存手法よりも高スパース性設定で優れる。 ニューラルネットワークを用いた最初のPaI手法として、このアプローチに影響を与える要因を検証するために広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-27T03:17:52Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• TinyProp -- Adaptive Sparse Backpropagation for Efficient TinyML On-device Learning [0.4747685035960513]
  バックプロパゲーションを用いたディープニューラルネットワークのトレーニングは、非常にメモリと計算集約性が高い。 これにより、低消費電力マイクロコントローラユニット(MCU)のような小さな組み込みデバイス上でデバイス上での学習や微調整ニューラルネットワークの実行が困難になる。 デバイス上でのトレーニング中にバックプロパゲーション比を動的に適応する最初のスパースバックプロパゲーション法であるTinyPropを提案する。
  論文  参考訳（メタデータ） (2023-08-17T22:32:32Z)
• Distributed Pruning Towards Tiny Neural Networks in Federated Learning [12.63559789381064]
  FedTinyは、フェデレートラーニングのための分散プルーニングフレームワークである。 メモリとコンピューティングに制約のあるデバイスのための、特殊な小さなモデルを生成する。 2.61%の精度向上を実現し、計算コストを95.91%削減した。
  論文  参考訳（メタデータ） (2022-12-05T01:58:45Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Enabling On-Device CNN Training by Self-Supervised Instance Filtering and Error Map Pruning [17.272561332310303]
  この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。 CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
  論文  参考訳（メタデータ） (2020-07-07T05:52:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。