論文の概要: Pairwise Neural Networks (PairNets) with Low Memory for Fast On-Device
Applications
- arxiv url: http://arxiv.org/abs/2002.04458v1
- Date: Mon, 10 Feb 2020 02:12:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 08:09:51.472106
- Title: Pairwise Neural Networks (PairNets) with Low Memory for Fast On-Device
Applications
- Title（参考訳）: 高速オンデバイスアプリケーションのための低メモリPairwise Neural Networks (PairNets)
- Authors: Luna M. Zhang
- Abstract要約: 従来の人工ニューラルネットワーク(ANN)は通常、バックプロパゲーションアルゴリズムのような勾配降下アルゴリズムによってゆっくりと訓練される。
Pairwise Neural Network"(PairNet)と呼ばれる,高速な非漸進的ハイパーパラメータ最適化を備えた,幅広で浅い4層ANNを作成した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A traditional artificial neural network (ANN) is normally trained slowly by a
gradient descent algorithm, such as the backpropagation algorithm, since a
large number of hyperparameters of the ANN need to be fine-tuned with many
training epochs. Since a large number of hyperparameters of a deep neural
network, such as a convolutional neural network, occupy much memory, a
memory-inefficient deep learning model is not ideal for real-time Internet of
Things (IoT) applications on various devices, such as mobile phones. Thus, it
is necessary to develop fast and memory-efficient Artificial Intelligence of
Things (AIoT) systems for real-time on-device applications. We created a novel
wide and shallow 4-layer ANN called "Pairwise Neural Network" ("PairNet") with
high-speed non-gradient-descent hyperparameter optimization. The PairNet is
trained quickly with only one epoch since its hyperparameters are directly
optimized one-time via simply solving a system of linear equations by using the
multivariate least squares fitting method. In addition, an n-input space is
partitioned into many n-input data subspaces, and a local PairNet is built in a
local n-input subspace. This divide-and-conquer approach can train the local
PairNet using specific local features to improve model performance. Simulation
results indicate that the three PairNets with incremental learning have smaller
average prediction mean squared errors, and achieve much higher speeds than
traditional ANNs. An important future work is to develop better and faster
non-gradient-descent hyperparameter optimization algorithms to generate
effective, fast, and memory-efficient PairNets with incremental learning on
optimal subspaces for real-time AIoT on-device applications.
- Abstract（参考訳）: 従来の人工ニューラルネットワーク(ANN)は通常、バックプロパゲーションアルゴリズムのような勾配降下アルゴリズムによってゆっくりと訓練される。
畳み込みニューラルネットワークのようなディープニューラルネットワークの多数のハイパーパラメータが多くのメモリを占めるため、メモリ非効率なディープラーニングモデルは、携帯電話などのさまざまなデバイス上のリアルタイムモノのインターネット(IoT)アプリケーションには理想的ではない。
したがって、リアルタイムオンデバイスアプリケーションのための高速でメモリ効率のよい人工知能(AIoT)システムを開発する必要がある。
Pairwise Neural Network"(PairNet)と呼ばれる,高速な非漸進型ハイパーパラメータ最適化を備えた,幅広で浅い4層ANNを作成した。
ペアネットは、多変量最小二乗法を用いて線形方程式の系を単純に解くことによって、ハイパーパラメータが直接最適化されるため、わずか1エポックですばやく訓練される。
さらに、n-入力空間を多くのn-入力データ部分空間に分割し、局所的なPairNetをn-入力部分空間に構築する。
この分断型アプローチは、特定のローカル機能を使用してローカルPairNetをトレーニングし、モデルパフォーマンスを改善する。
シミュレーションの結果,逐次学習を持つ3つのPairNetは平均2乗誤差が小さく,従来のANNよりもはるかに高速であることが示唆された。
将来の重要な課題は、より効率的で高速でメモリ効率のよいPairNetを生成するために、より高速な非階調ハイパーパラメータ最適化アルゴリズムを開発することである。
関連論文リスト
- Scaling Studies for Efficient Parameter Search and Parallelism for Large
Language Model Pre-training [2.875838666718042]
並列および分散機械学習アルゴリズムの開発,特に5個のエンコーダデコーダLLMのデータの処理と事前学習の最適化に着目する。
我々は3つのMLメソッド間の関係を定量化するための詳細な研究を行い、特にMicrosoft DeepSpeed Zero Redundancyのステージを探索した。
論文 参考訳（メタデータ） (2023-10-09T02:22:00Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Hyperparameter Optimization with Neural Network Pruning [6.193231258199234]
ハイパーパラメータ最適化に用いるニューラルネットワーク(N_B)のプロキシモデルを提案する。
提案されたフレームワークは、最大37%の時間を削減することができる。
論文 参考訳（メタデータ） (2022-05-18T02:51:47Z) - FPGA-based AI Smart NICs for Scalable Distributed AI Training Systems [62.20308752994373]
我々は、フィールドプログラマブルゲートアレイ(FPGA)を用いた分散AI訓練システムのための新しいスマートネットワークインタフェースカード(NIC)を提案する。
提案するFPGAベースのAIスマートNICは,従来のNICを用いたベースラインシステムと比較して,6ノードで1.6倍,32ノードで2.5倍の性能向上が期待できる。
論文 参考訳（メタデータ） (2022-04-22T21:57:00Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Online hyperparameter optimization by real-time recurrent learning [57.01871583756586]
ニューラルネットワーク(rnn)におけるハイパーパラメータ最適化とパラメータ学習の類似性を活用した。
RNNのための学習済みのオンライン学習アルゴリズムのファミリーを適応させ、ハイパーパラメータとネットワークパラメータを同時に調整します。
この手順は、通常の方法に比べて、ウォールクロック時間のほんの少しで、体系的に一般化性能が向上する。
論文 参考訳（メタデータ） (2021-02-15T19:36:18Z) - NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear
Convolution [0.0]
NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。
いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
論文 参考訳（メタデータ） (2021-01-30T13:38:42Z) - Optimizing Memory Placement using Evolutionary Graph Reinforcement
Learning [56.83172249278467]
大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。
我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。
また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
論文 参考訳（メタデータ） (2020-07-14T18:50:12Z) - TASO: Time and Space Optimization for Memory-Constrained DNN Inference [5.023660118588569]
畳み込みニューラルネットワーク(CNN)は、産業用ロボティクスや自動化システムからモバイルデバイスでの生体認証まで、多くの組み込みアプリケーションで使用されている。
本稿では、畳み込み層を実装するプリミティブ演算を選択するための整数線形計画法(ILP)に基づくCNNモデルの事前ドメイン固有最適化手法を提案する。
論文 参考訳（メタデータ） (2020-05-21T15:08:06Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - PairNets: Novel Fast Shallow Artificial Neural Networks on Partitioned
Subspaces [0.0]
我々は、"Pairwise Neural Network"(PairNet)と呼ばれる、浅い4層ANNを作成する。
各入力の値は複数の間隔に分割され、n-次元空間は M n-次元部分空間に分割される。
M 局所 PairNet は M 分割局所 n-次元部分空間で構築される。
論文 参考訳（メタデータ） (2020-01-24T05:23:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。