論文の概要: TASTE: Throughput-Aware Batch Size Tuning for On-Device Edge Learning

• arxiv url: http://arxiv.org/abs/2609.07444v1
• Date: Mon, 07 Sep 2026 12:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.42766
• Title: TASTE: Throughput-Aware Batch Size Tuning for On-Device Edge Learning
• Title（参考訳）: TASTE: デバイス上でのエッジ学習のためのスループット対応バッチサイズチューニング
• Abstract要約: 本稿では,効率的なベイズ最適化に基づくバッチサイズチューニング手法を取り入れたオンデバイスモデルトレーニング手法を提案する。 提案手法はRaspberry Pi 4のようなプラットフォーム上でのトレーニングスループットを最大で2倍に向上することを示す。
• 参考スコア（独自算出の注目度）: 0.6228127137267275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rise of privacy-preserving artificial intelligence (AI) has shifted the focus of model adaptation and personalization towards on-device learning, where deep learning models are finetuned directly on edge hardware using local user data. However, this shift requires optimization of deep learning training on resource-constrained hardware to maximize throughput while maintaining predictive accuracy. This paper introduces a novel technique for on-device model training that incorporates an efficient Bayesian optimization-based batch size tuning approach to maximize hardware throughput. To evaluate the impact of this hyperparameter on the learning dynamics, we investigated two distinct paradigms: standard supervised learning (SL) and online continual learning (CL). Experimental results across various edge devices demonstrate a throughput ceiling, beyond which increasing the batch size yields no additional throughput gains. The proposed tuning approach identifies the optimal batch size, which, when combined with gradient accumulation and linear learning rate scaling, achieves up to a 2X increase in training throughput on platforms such as Raspberry Pi 4 compared to maximum batch sizes, without compromising model accuracy. Furthermore, in the CL paradigm, we demonstrate that optimal batch sizes maintain the stability-plasticity balance required for incremental learning, effectively mitigating catastrophic forgetting while maximizing computational efficiency on edge-hardware.
• Abstract（参考訳）: プライバシ保護人工知能(AI)の台頭は、モデル適応とパーソナライゼーションの焦点をデバイス上での学習へとシフトさせ、深層学習モデルはローカルユーザデータを使用してエッジハードウェアに直接微調整される。 しかし、このシフトは、予測精度を維持しながらスループットを最大化するために、リソース制約のあるハードウェア上でのディープラーニングトレーニングの最適化を必要とする。 本稿では,ハードウェアスループットを最大化するために,効率の良いベイズ最適化に基づくバッチサイズチューニング手法を組み込んだオンデバイスモデルトレーニング手法を提案する。 このハイパーパラメータが学習力学に与える影響を評価するために,標準教師付き学習(SL)とオンライン連続学習(CL)の2つの異なるパラダイムを検討した。 様々なエッジデバイスにまたがる実験の結果、スループットの天井が示され、バッチサイズが大きくなるとスループットが向上することはない。 提案手法では,勾配の蓄積と線形学習率のスケーリングと組み合わせることで,最大バッチサイズに比べてRaspberry Pi 4などのプラットフォーム上でのトレーニングスループットが最大で2倍向上し,モデルの精度を損なうことなく,最適なバッチサイズを特定する。 さらに、CLパラダイムでは、最適バッチサイズが漸進学習に必要な安定性-塑性バランスを維持し、エッジハードウエアの計算効率を最大化しながら破滅的な忘れを効果的に軽減することを示した。

関連論文リスト

• Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts [2.2554080765044717]
  Mixture-of-Experts (MoE)アーキテクチャは、計算コストの比例的に増加することなく、モデル容量を大幅に拡張する。 大規模MOEモデルの学習に最適な学習率を推定する計算効率の高い2段階のハイパーパラメータ転送フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-20T13:57:43Z)
• Compute-Optimal Scaling for Value-Based Deep RL [99.680827753493]
  オンライン価値ベースディープRLの計算スケーリングについて検討する。 解析の結果,モデルサイズ,バッチサイズ,UTD間の微妙な相互作用が明らかになった。 この現象を理解するためのメンタルモデルを提供し、バッチサイズとUTDを選択するためのガイドラインを構築します。
  論文  参考訳（メタデータ） (2025-08-20T17:54:21Z)
• Analysis of Hyperparameter Optimization Effects on Lightweight Deep Models for Real-Time Image Classification [0.0]
  本研究では,ConvNeXt-T,EfficientV2-S,MobileNetV3-L,MobileViT v2(S/XS),RepVGG-A2,TinyViT-21Mの7つの軽量アーキテクチャの精度と展開可能性を評価する。 チューニングだけでは、ベースラインを1.5から3.5パーセント上回るトップ1の精度向上につながり、選択されたモデルでは、レイテンシが5ミリ秒未満で、毎秒9800フレームを超える。
  論文  参考訳（メタデータ） (2025-07-31T07:47:30Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Optimizing ML Training with Metagradient Descent [69.89631748402377]
  モデルトレーニングによる勾配というメタグラディエントを,大規模に効率的に計算するアルゴリズムを導入する。 次に、メタグラディエントを用いた効果的な最適化を可能にする「滑らかなモデルトレーニング」フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-03-17T22:18:24Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Training Efficiency and Robustness in Deep Learning [2.6451769337566406]
  ディープラーニングモデルのトレーニング効率と堅牢性を改善するためのアプローチについて検討する。 より情報的なトレーニングデータに基づく学習の優先順位付けは収束速度を高め、テストデータに対する一般化性能を向上させる。 トレーニングデータのサンプリングに対する冗長性を考慮した修正により、トレーニング速度が向上し、トレーニング信号の多様性を検出する効率的な方法が開発されていることを示す。
  論文  参考訳（メタデータ） (2021-12-02T17:11:33Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。