論文の概要: Continual Deep Learning on the Edge via Stochastic Local Competition among Subnetworks

• arxiv url: http://arxiv.org/abs/2407.10758v1
• Date: Mon, 15 Jul 2024 14:36:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:51:56.383768
• Title: Continual Deep Learning on the Edge via Stochastic Local Competition among Subnetworks
• Title（参考訳）: サブネット間の確率的局所競争によるエッジの連続的深層学習
• Authors: Theodoros Christophides, Kyriakos Tolias, Sotirios Chatzis,
• Abstract要約: エッジデバイス上での継続的な学習は、厳しいリソース制約のため、ユニークな課題を生んでいる。 本稿では,競争の原則を活かしてスパシティを促進する新しい手法を提案する。 これにより、ディープ・ネットワーク・メモリのフットプリントと計算負荷が大幅に削減される。
• 参考スコア（独自算出の注目度）: 6.367254849444475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning on edge devices poses unique challenges due to stringent resource constraints. This paper introduces a novel method that leverages stochastic competition principles to promote sparsity, significantly reducing deep network memory footprint and computational demand. Specifically, we propose deep networks that comprise blocks of units that compete locally to win the representation of each arising new task; competition takes place in a stochastic manner. This type of network organization results in sparse task-specific representations from each network layer; the sparsity pattern is obtained during training and is different among tasks. Crucially, our method sparsifies both the weights and the weight gradients, thus facilitating training on edge devices. This is performed on the grounds of winning probability for each unit in a block. During inference, the network retains only the winning unit and zeroes-out all weights pertaining to non-winning units for the task at hand. Thus, our approach is specifically tailored for deployment on edge devices, providing an efficient and scalable solution for continual learning in resource-limited environments.
• Abstract（参考訳）: エッジデバイス上での継続的な学習は、リソースの制約が厳しいため、ユニークな課題を生んでいる。 本稿では,ネットワークの深部メモリフットプリントと計算負荷を大幅に削減する,確率的競合原理を活用する新しい手法を提案する。 具体的には,各タスクの表現に勝つために局所的に競合するユニットのブロックを構成するディープネットワークを提案する。 このタイプのネットワーク組織は、各ネットワーク層からのタスク固有の疎らな表現をもたらし、その疎度パターンはトレーニング中に取得され、タスク間で異なる。 重要な点として,本手法は重量勾配と重量勾配の両方を分散させ,エッジデバイスでのトレーニングを容易にする。 これはブロック内の各ユニットの勝利確率に基づいて実行される。 推論中、ネットワークは、入賞ユニットと、手前のタスクの非入賞ユニットに関連するすべての重みのみを保持する。 このように、当社のアプローチはエッジデバイスへのデプロイメントに特化しており、リソース制限された環境での継続的な学習のための効率的でスケーラブルなソリューションを提供する。

関連論文リスト

• Competing Mutual Information Constraints with Stochastic Competition-based Activations for Learning Diversified Representations [5.981521556433909]
  本研究は,多角化表現の学習における長年の課題に対処することを目的としている。 情報理論の議論と競争に基づくアクティベーションを組み合わせる。 実験的に示すように、結果として得られるネットワークは、重要な離散表現学習能力をもたらす。
  論文  参考訳（メタデータ） (2022-01-10T20:12:13Z)
• Stochastic Local Winner-Takes-All Networks Enable Profound Adversarial Robustness [9.017401570529135]
  この研究は、競争に基づくアクティベーション、すなわちLocal Winner-Takes-All(LWTA)の有効性を探る。 従来のReversaベースの非線形性を、局所的に競合する線形単位からなるブロックに置き換える。 実験で示されたように、ネットワークは強力な敵攻撃に対して最先端の堅牢性をもたらす。
  論文  参考訳（メタデータ） (2021-12-05T20:00:10Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。