論文の概要: Towards On-device Learning on the Edge: Ways to Select Neurons to Update under a Budget Constraint

• arxiv url: http://arxiv.org/abs/2312.05282v1
• Date: Fri, 8 Dec 2023 10:40:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:44:18.075813
• Title: Towards On-device Learning on the Edge: Ways to Select Neurons to Update under a Budget Constraint
• Title（参考訳）: エッジ上でのオンデバイス学習に向けて:予算制約下でニューロンを更新する方法
• Authors: A\"el Qu\'elennec, Enzo Tartaglione, Pavlo Mozharovskyi and Van-Tam Nguyen
• Abstract要約: 本稿では,従来の知恵に挑戦し,優れたサブネットワークの存在を明らかにする一連の実験を提案する。 我々は,目標タスクを微調整する際の動的ニューロン選択戦略を通じて,実質的な利得の可能性について示唆する。 実験では、平均の場合、ランダム選択よりもNEqにインスパイアされたアプローチの方が優れていることを示した。
• 参考スコア（独自算出の注目度）: 8.580120233841344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the realm of efficient on-device learning under extreme memory and computation constraints, a significant gap in successful approaches persists. Although considerable effort has been devoted to efficient inference, the main obstacle to efficient learning is the prohibitive cost of backpropagation. The resources required to compute gradients and update network parameters often exceed the limits of tightly constrained memory budgets. This paper challenges conventional wisdom and proposes a series of experiments that reveal the existence of superior sub-networks. Furthermore, we hint at the potential for substantial gains through a dynamic neuron selection strategy when fine-tuning a target task. Our efforts extend to the adaptation of a recent dynamic neuron selection strategy pioneered by Bragagnolo et al. (NEq), revealing its effectiveness in the most stringent scenarios. Our experiments demonstrate, in the average case, the superiority of a NEq-inspired approach over a random selection. This observation prompts a compelling avenue for further exploration in the area, highlighting the opportunity to design a new class of algorithms designed to facilitate parameter update selection. Our findings usher in a new era of possibilities in the field of on-device learning under extreme constraints and encourage the pursuit of innovative strategies for efficient, resource-friendly model fine-tuning.
• Abstract（参考訳）: 極端なメモリと計算の制約下での効率的なオンデバイス学習の領域では、成功するアプローチのかなりのギャップが続いている。 効率的な推論に多大な努力が注がれているが、効率的な学習の主な障害は、バックプロパゲーションの禁止コストである。 勾配の計算やネットワークパラメータの更新に必要なリソースは、厳格に制約されたメモリ予算の限界を超えることが多い。 本稿では,従来の知識に挑戦し,優れたサブネットワークの存在を明らかにする一連の実験を提案する。 さらに、ターゲットタスクを微調整する際の動的ニューロン選択戦略により、実質的な利得の可能性も示唆する。 我々の取り組みは、Bragagnolo et al. (NEq)によって先駆けられた最近の動的ニューロン選択戦略の適応にまで拡張され、最も厳密なシナリオにおけるその効果が明らかにされた。 実験では、平均の場合、ランダム選択よりもNEqにインスパイアされたアプローチの方が優れていることを示した。 この観測は、この地域のさらなる探検のための説得力のある道のりとなり、パラメーター更新選択を容易にするように設計された新しいタイプのアルゴリズムを設計する機会が浮き彫りになった。 本研究は,デバイス上での学習を極端に制限し,効率的な資源フレンドリーなモデル微調整のための革新的戦略の追求を促すものである。

関連論文リスト

• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Sparsity and Heterogeneous Dropout for Continual Learning in the Null Space of Neural Activations [36.24028295650668]
  非定常的な入力データストリームからの連続的/長期的学習は知性の基盤である。 ディープニューラルネットワークは、新しいものを学ぶ際に、これまで学んだ情報を忘れる傾向がある。 近年、ディープニューラルネットワークにおける破滅的な忘れを乗り越えることが、研究の活発な分野となっている。
  論文  参考訳（メタデータ） (2022-03-12T21:12:41Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• SID: Incremental Learning for Anchor-Free Object Detection via Selective and Inter-Related Distillation [16.281712605385316]
  増分学習は、ストリーミングデータから新しいタスクを継続的に学習するモデルを必要とする。 新しいタスクでよく訓練されたディープニューラルネットワークの従来の微調整は、古いタスクのパフォーマンスを劇的に低下させる。 SID(Selective and Inter-related Distillation)と呼ばれる新しい漸進的学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T04:12:06Z)
• Persistent Neurons [4.061135251278187]
  本稿では,学習課題を最適化するトラジェクトリベースの戦略を提案する。 永続ニューロンは、決定論的誤差項によって個々の更新が破損する勾配情報バイアスを持つ方法とみなすことができる。 完全かつ部分的なパーシステンスモデルの評価を行い、NN構造における性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-07-02T22:36:49Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。