論文の概要: Efficient Online Processing with Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2306.13474v1
- Date: Fri, 23 Jun 2023 12:29:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-26 12:46:36.494693
- Title: Efficient Online Processing with Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークによる効率的なオンライン処理
- Authors: Lukas Hedegaard
- Abstract要約: この論文は、ニューラルネットワークの効率性に特化しています。特に、コアコントリビューションは、オンライン推論の効率面に対処します。
これらの進歩は、ボトムアップの計算再構成と司法的なアーキテクチャ修正によって達成される。
- 参考スコア(独自算出の注目度): 1.90365714903665
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The capabilities and adoption of deep neural networks (DNNs) grow at an
exhilarating pace: Vision models accurately classify human actions in videos
and identify cancerous tissue in medical scans as precisely than human experts;
large language models answer wide-ranging questions, generate code, and write
prose, becoming the topic of everyday dinner-table conversations. Even though
their uses are exhilarating, the continually increasing model sizes and
computational complexities have a dark side. The economic cost and negative
environmental externalities of training and serving models is in evident
disharmony with financial viability and climate action goals.
Instead of pursuing yet another increase in predictive performance, this
dissertation is dedicated to the improvement of neural network efficiency.
Specifically, a core contribution addresses the efficiency aspects during
online inference. Here, the concept of Continual Inference Networks (CINs) is
proposed and explored across four publications. CINs extend prior
state-of-the-art methods developed for offline processing of spatio-temporal
data and reuse their pre-trained weights, improving their online processing
efficiency by an order of magnitude. These advances are attained through a
bottom-up computational reorganization and judicious architectural
modifications. The benefit to online inference is demonstrated by reformulating
several widely used network architectures into CINs, including 3D CNNs,
ST-GCNs, and Transformer Encoders. An orthogonal contribution tackles the
concurrent adaptation and computational acceleration of a large source model
into multiple lightweight derived models. Drawing on fusible adapter networks
and structured pruning, Structured Pruning Adapters achieve superior predictive
accuracy under aggressive pruning using significantly fewer learned weights
compared to fine-tuning with pruning.
- Abstract(参考訳): ディープニューラルネットワーク(dnn)の能力と採用は、非常に高いペースで増加している – ビジョンモデルがビデオ内の人間の行動を正確に分類し、医療スキャンにおいて人間の専門家よりも正確にがん組織を識別する。
彼らの用途は誇張されているが、モデルのサイズと計算の複雑さは暗くなっている。
トレーニングおよびサービスモデルの経済的コストと負の環境外部性は、財政的生存可能性や気候活動目標と明らかに不一致している。
この論文は、予測性能のさらなる向上を追求する代わりに、ニューラルネットワーク効率の改善に特化している。
特に、コアコントリビューションは、オンライン推論の効率面に対処する。
ここでは、連続推論ネットワーク(CIN)の概念を4つの出版物で提案し、検討する。
CINは、時空間データのオフライン処理のために開発された最先端の手法を拡張し、トレーニング済みの重みを再利用し、オンラインでの処理効率を桁違いに向上させる。
これらの進歩はボトムアップな計算の再編成と公平なアーキテクチャ変更によって達成される。
オンライン推論の利点は、3D CNN、ST-GCN、Transformer Encodersなど、広く使われているネットワークアーキテクチャをCINに書き換えることによって示される。
直交的寄与は、複数の軽量導出モデルへの大きなソースモデルの同時適応と計算的加速に取り組む。
ファジブルアダプターネットワークと構造化プルーニングをベースとした構造化プルーニングアダプタは、プルーニングによる微調整に比べて学習重量を著しく少なくして、アグレッシブプルーニング時の予測精度に優れる。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Mobile Traffic Prediction at the Edge through Distributed and Transfer
Learning [2.687861184973893]
このトピックの研究は、異なるネットワーク要素からデータを収集することによって、中央集権的な予測を行うことに集中している。
本研究では,エッジ上で得られたデータセットを大規模計測キャンペーンで活用するエッジコンピューティングに基づく新しい予測フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-22T23:48:13Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳(メタデータ) (2022-10-31T16:13:15Z) - From DNNs to GANs: Review of efficient hardware architectures for deep
learning [0.0]
ニューラルネットワークとディープラーニングが現在の研究パラダイムに影響を与え始めている。
DSPプロセッサは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成的敵ネットワーク操作を実行することができない。
異なるアルゴリズムは、ニューラルネットワーク、アクティベーション機能、畳み込みニューラルネットワーク、生成対向ネットワークにおける高速なパフォーマンスに適合するDSPプロセッサを設計するために適合している。
論文 参考訳(メタデータ) (2021-06-06T13:23:06Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - On the Difficulty of Designing Processor Arrays for Deep Neural Networks [0.0]
カムーイ (Camuy) は、線形代数演算のための重み付き定常シストリックアレイの軽量モデルである。
本稿では,必要サイクル,データ移動コスト,およびシストリックアレイの利用率を推定する方法を説明するために,人気モデルの解析を行う。
論文 参考訳(メタデータ) (2020-06-24T19:24:08Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z) - Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。
アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。
トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文 参考訳(メタデータ) (2020-03-03T07:27:44Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。