論文の概要: Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator
- arxiv url: http://arxiv.org/abs/2607.18101v1
- Date: Mon, 20 Jul 2026 16:02:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.696368
- Title: Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator
- Title(参考訳): エッジAI推論アクセラレータによるオンデバイスモデル適応の強化
- Abstract要約: オンデバイスモデル適応は、リソース制約のあるハードウェア上で生涯のパーソナライズを可能にするために不可欠だが、計算、電力、メモリ制限は、現代のディープニューラルネットワークではエンドツーエンドのバックプロパゲーションを非現実的にする。
この研究は、デバイス上でのトレーニング中にフリーズバックボーン特徴抽出のために、商用エッジAI推論アクセラレータであるHairo-8Lを再利用した異種適応パイプラインを提案する。
- 参考スコア(独自算出の注目度): 43.8008779739425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-device model adaptation is essential to enable lifelong personalization on resource-constrained hardware, but compute, power, and memory limitations of such devices make end-to-end backpropagation impractical for modern deep neural networks. This work proposes a heterogeneous adaptation pipeline that repurposes a commercial edge AI inference accelerator, Hailo-8L, for frozen-backbone feature extraction during on-device training. The computational graph is partitioned so that the pre-trained backbone is quantized to INT8 and run on the accelerator, while only a lightweight FP32 classification head is fine-tuned on the host CPU, enabling frequent, energy-efficient in-field updates with most weights remaining fixed. Across multiple architectures and datasets, this pipeline achieves up to 15.4x faster wall-clock training time compared to a Raspberry Pi 5 CPU baseline, offers competitive throughput in favorable settings, and consistently reduces energy per sample. Post-training quantization restoration is shown to be crucial for preserving the quality of accelerator-generated features and mitigating accuracy loss in quantization-sensitive architectures. Overall, the results demonstrate a practical approach to efficient on-device adaptation using inference-oriented edge accelerators. The implementation is available at https://github.com/MatPiech/accelerator-training.
- Abstract(参考訳): オンデバイスモデル適応は、リソース制約のあるハードウェア上で生涯のパーソナライズを可能にするために不可欠であるが、そのようなデバイスの計算、電力、メモリ制限は、現代のディープニューラルネットワークにおいてエンドツーエンドのバックプロパゲーションを非現実的にする。
この研究は、デバイス上でのトレーニング中にフリーズバックボーン特徴抽出のために、商用エッジAI推論アクセラレータであるHairo-8Lを再利用した異種適応パイプラインを提案する。
計算グラフは、事前訓練されたバックボーンをINT8に量子化し、アクセル上で動作させると共に、軽量なFP32分類ヘッドのみをホストCPU上で微調整し、ほとんどの重みが固定されたまま、頻繁にエネルギー効率の良いフィールド更新を可能にする。
複数のアーキテクチャとデータセットにわたって、このパイプラインはRaspberry Pi 5のCPUベースラインに比べて最大15.4倍高速なウォールクロックトレーニングを実現し、良好な設定で競合スループットを提供し、サンプルあたりのエネルギーを一貫して削減している。
学習後の量子化回復は、加速器生成した特徴の保存と、量子化に敏感なアーキテクチャにおける精度損失の軽減に不可欠であることが示されている。
全体としては、推論指向エッジアクセラレーターを用いたデバイス上での効率的な適応のための実践的なアプローチを示す。
実装はhttps://github.com/MatPiech/accelerator-training.comで公開されている。
関連論文リスト
- In-memory Training on Analog Devices with Limited Conductance States via Multi-tile Residual Learning [59.091567092071564]
インメモリトレーニングは通常、デジタルベースラインに合わせて少なくとも8ビットのコンダクタンス状態を必要とする。
ReRAMのような多くの有望な中間デバイスは、製造制約のため、約4ビットの解像度しか提供しない。
本稿では,残差を補うために複数のクロスバータイルを逐次学習する語彙学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-02T19:44:25Z) - FF-INT8: Efficient Forward-Forward DNN Training on Edge Devices with INT8 Precision [7.461536872552009]
本稿では、FFの層間戦略を利用して勾配量子化を安定化するINT8量子化学習手法を提案する。
NVIDIA Jetson Orin Nanoボードで行われた実験では、トレーニングが4.6%速く、省エネが8.3%、メモリ使用量が27.0%減少した。
論文 参考訳(メタデータ) (2025-06-28T06:16:26Z) - QuartDepth: Post-Training Quantization for Real-Time Depth Estimation on the Edge [55.75103034526652]
ASIC のハードウェアアクセラレーションによる MDE モデルの定量化を後学習量子化に応用した QuartDepth を提案する。
提案手法では,重みとアクティベーションの両方を4ビット精度で定量化し,モデルサイズと計算コストを削減する。
我々は、カーネル融合とカスタマイズされた命令プログラム性をサポートすることにより、フレキシブルでプログラム可能なハードウェアアクセラレータを設計する。
論文 参考訳(メタデータ) (2025-03-20T21:03:10Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳(メタデータ) (2023-12-23T07:47:07Z) - AccEPT: An Acceleration Scheme for Speeding Up Edge Pipeline-parallel
Training [22.107070114339038]
本稿では,エッジ協調パイプライン並列トレーニングを高速化するアクセラレーションスキームであるAccEPTを提案する。
特に,異なるデバイスにおける各レイヤの遅延を正確に推定する軽量適応遅延予測器を提案する。
数値計算の結果,提案手法により,エッジパイプラインの並列学習を最大3倍高速化できることがわかった。
論文 参考訳(メタデータ) (2023-11-10T02:18:33Z) - EF-Train: Enable Efficient On-device CNN Training on FPGA Through Data
Reshaping for Online Adaptation or Personalization [11.44696439060875]
EF-Trainは、チャネルレベルの並列性に基づく畳み込みカーネルを統一した、効率的なDNNトレーニングアクセラレータである。
リソース制限された低消費電力エッジレベルFPGAのエンドツーエンドトレーニングを実現することができる。
我々の設計ではスループットとエネルギー効率の点で46.99GFLOPSと6.09GFLOPS/Wを実現している。
論文 参考訳(メタデータ) (2022-02-18T18:27:42Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳(メタデータ) (2022-01-18T13:59:22Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。
この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
論文 参考訳(メタデータ) (2021-03-25T17:43:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。