論文の概要: NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders
of Deep Giants
- arxiv url: http://arxiv.org/abs/2306.13586v1
- Date: Fri, 23 Jun 2023 16:14:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 12:06:08.630678
- Title: NetBooster: Empowering Tiny Deep Learning By Standing on the Shoulders
of Deep Giants
- Title(参考訳): netbooster: 深い巨人の肩の上に立つことで、小さなディープラーニングを力づける
- Authors: Zhongzhi Yu, Yonggan Fu, Jiayi Yuan, Haoran You, Yingyan Lin
- Abstract要約: 我々はNetBoosterというフレームワークを提案する。
NetBoosterは、最先端の小さなディープラーニングソリューションよりも一貫して優れています。
- 参考スコア(独自算出の注目度): 24.572840023107577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tiny deep learning has attracted increasing attention driven by the
substantial demand for deploying deep learning on numerous intelligent
Internet-of-Things devices. However, it is still challenging to unleash tiny
deep learning's full potential on both large-scale datasets and downstream
tasks due to the under-fitting issues caused by the limited model capacity of
tiny neural networks (TNNs). To this end, we propose a framework called
NetBooster to empower tiny deep learning by augmenting the architectures of
TNNs via an expansion-then-contraction strategy. Extensive experiments show
that NetBooster consistently outperforms state-of-the-art tiny deep learning
solutions.
- Abstract(参考訳): 多数のインテリジェントなInternet-of-Thingsデバイスにディープラーニングをデプロイするという、相当な需要によって、小さなディープラーニングが注目を集めている。
しかしながら、小さなニューラルネットワーク(tnn)のモデル容量が限られているため、大規模なデータセットとダウンストリームタスクの両方において、小さなディープラーニングのポテンシャルを解き放つことは依然として困難である。
そこで我々はNetBoosterというフレームワークを提案し,TNNのアーキテクチャを拡張型コントラクション戦略により拡張することで,最小限のディープラーニングを実現する。
大規模な実験によると、NetBoosterは最先端の小さなディープラーニングソリューションを一貫して上回っている。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳(メタデータ) (2024-06-14T13:12:07Z) - NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。
我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
論文 参考訳(メタデータ) (2024-04-24T09:12:04Z) - SpikingJelly: An open-source machine learning infrastructure platform
for spike-based intelligence [51.6943465041708]
スパイキングニューラルネットワーク(SNN)は、高エネルギー効率のニューロモルフィックチップに脳にインスパイアされたインテリジェンスを実現することを目的としている。
我々は、ニューロモルフィックデータセットの事前処理、深層SNNの構築、パラメータの最適化、およびニューロモルフィックチップへのSNNのデプロイのためのフルスタックツールキットをコントリビュートする。
論文 参考訳(メタデータ) (2023-10-25T13:15:17Z) - NetDistiller: Empowering Tiny Deep Learning via In-Situ Distillation [19.93322471957759]
我々はTNNの達成可能な精度を高めるためにNetDistillerというフレームワークを提案する。
このフレームワークは、TNNのチャンネル数を拡大することによって構築された、ウェイトシェアリングの教師のサブネットワークとして扱う。
私たちのコードはhttps://github.com/GATECH-EIC/NetDistiller.comから入手可能です。
論文 参考訳(メタデータ) (2023-10-24T04:27:51Z) - From Local Binary Patterns to Pixel Difference Networks for Efficient
Visual Representation Learning [8.058777445771911]
LBPはコンピュータビジョンにおける手作りの機能記述器として成功している。
ディープニューラルネットワーク、特に畳み込みニューラルネットワーク(CNN)は、強力なタスク認識機能を自動的に学習することができる。
本稿では,LBP機構をCNNモジュールの設計に組み込んで深部モデルを強化する取り組みについて述べる。
論文 参考訳(メタデータ) (2023-03-15T07:28:46Z) - Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳(メタデータ) (2022-01-21T16:42:11Z) - Provable Regret Bounds for Deep Online Learning and Control [77.77295247296041]
我々は、損失関数がニューラルネットワークのパラメータを最適化するために適応できることを示し、後から最も優れたネットと競合することを示す。
オンライン設定におけるこれらの結果の適用として、オンライン制御コントローラの証明可能なバウンダリを得る。
論文 参考訳(メタデータ) (2021-10-15T02:13:48Z) - Building Compact and Robust Deep Neural Networks with Toeplitz Matrices [93.05076144491146]
この論文は、コンパクトで、訓練が容易で、信頼性があり、敵の例に対して堅牢なニューラルネットワークを訓練する問題に焦点を当てている。
Toeplitzファミリーの構造化行列の特性を利用して、コンパクトでセキュアなニューラルネットワークを構築する。
論文 参考訳(メタデータ) (2021-09-02T13:58:12Z) - Tiny Adversarial Mulit-Objective Oneshot Neural Architecture Search [35.362883630015354]
モバイルデバイスにデプロイされるほとんどのニューラルネットワークモデルは小さい。
しかし、小さなニューラルネットワークは一般に攻撃に対して非常に脆弱である。
私たちの研究は、モバイルレベルのリソースの下でクリーンな精度を損なうことなく、小さなニューラルネットワークの堅牢性を改善する方法にフォーカスしています。
論文 参考訳(メタデータ) (2021-02-28T00:54:09Z) - Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。
少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。
本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文 参考訳(メタデータ) (2020-07-14T07:43:09Z) - Distilling Spikes: Knowledge Distillation in Spiking Neural Networks [22.331135708302586]
Spiking Neural Networks (SNN) は、情報処理のためにスパイクを交換するエネルギー効率の高いコンピューティングアーキテクチャである。
画像分類のためのスパイクニューラルネットワークにおける知識蒸留手法を提案する。
我々のアプローチは、リソース制約のあるハードウェアプラットフォーム上で、高性能な大規模SNNモデルをデプロイするための新たな道を開くことが期待されている。
論文 参考訳(メタデータ) (2020-05-01T09:36:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。