論文の概要: Convergence and scaling of Boolean-weight optimization for hardware
reservoirs
- arxiv url: http://arxiv.org/abs/2305.07908v1
- Date: Sat, 13 May 2023 12:15:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 18:49:09.617706
- Title: Convergence and scaling of Boolean-weight optimization for hardware
reservoirs
- Title(参考訳): ハードウェア貯留層におけるブールウェイト最適化の収束とスケーリング
- Authors: Louis Andreoli, St\'ephane Chr\'etien, Xavier Porte, Daniel Brunner
- Abstract要約: 我々は、ランダムにリカレント接続されたニューラルネットワークの読み出し層を最適化するために、高効率なコーディネートDescentのスケーリング法則を解析的に導出した。
本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを完璧に再現するものである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hardware implementation of neural network are an essential step to implement
next generation efficient and powerful artificial intelligence solutions.
Besides the realization of a parallel, efficient and scalable hardware
architecture, the optimization of the system's extremely large parameter space
with sampling-efficient approaches is essential.
Here, we analytically derive the scaling laws for highly efficient Coordinate
Descent applied to optimizing the readout layer of a random recurrently
connection neural network, a reservoir.
We demonstrate that the convergence is exponential and scales linear with the
network's number of neurons.
Our results perfectly reproduce the convergence and scaling of a large-scale
photonic reservoir implemented in a proof-of-concept experiment.
Our work therefore provides a solid foundation for such optimization in
hardware networks, and identifies future directions that are promising for
optimizing convergence speed during learning leveraging measures of a neural
network's amplitude statistics and the weight update rule.
- Abstract(参考訳): ニューラルネットワークのハードウェア実装は、次世代の効率的で強力な人工知能ソリューションを実装するための重要なステップである。
並列で効率的でスケーラブルなハードウェアアーキテクチャの実現に加えて、サンプリング効率のよいアプローチでシステムの非常に大きなパラメータ空間の最適化が不可欠である。
本稿では,ランダムリカレント結合型ニューラルネットワーク,リザーバの読み出し層を最適化するために,高度に効率的な座標降下のためのスケーリング則を解析的に導出する。
この収束は指数関数的であり,ネットワークのニューロン数に線形にスケールすることを示す。
本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを再現するものである。
そこで本研究では,ハードウェアネットワークにおけるこのような最適化の基盤を提供し,ニューラルネットワークの振幅統計量と重み付け更新則を活用し,学習中に収束速度を最適化する今後の方向性を明らかにした。
関連論文リスト
- Towards Efficient Verification of Quantized Neural Networks [9.352320240912109]
量子化は、深層ニューラルネットワークモデルにおける浮動小数点演算を整数演算に置き換える。
本研究では,勾配に基づく探索手法と有界伝播手法を用いて,効率を向上できることを示す。
論文 参考訳(メタデータ) (2023-12-20T00:43:13Z) - QuadraNet: Improving High-Order Neural Interaction Efficiency with
Hardware-Aware Quadratic Neural Networks [28.130386036553144]
コンピュータビジョン指向のニューラルネットワーク設計の最近の進歩は、主に高次のニューラルネットワークの相互作用を捉えている。
ニューロン再構成から構造ブロックへの包括的モデル設計手法である QuadraNet を提案する。
現状の高次手法と比較して、最大1.5$times$スループット、メモリフットプリントの30%削減、認識性能の類似が示されている。
論文 参考訳(メタデータ) (2023-11-29T08:45:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳(メタデータ) (2022-01-09T09:31:50Z) - Acceleration techniques for optimization over trained neural network
ensembles [1.0323063834827415]
本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。
本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
論文 参考訳(メタデータ) (2021-12-13T20:50:54Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T06:39:13Z) - Optimisation of a Siamese Neural Network for Real-Time Energy Efficient
Object Tracking [0.0]
組込み視覚システムのためのSiameseニューラルネットワークを用いた視覚物体追跡の最適化について述べる。
提案手法は,高解像度ビデオストリームに対して,リアルタイムに動作するものと推定された。
論文 参考訳(メタデータ) (2020-07-01T13:49:56Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳(メタデータ) (2020-02-10T16:20:02Z) - Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。
本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。
分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文 参考訳(メタデータ) (2020-02-04T23:03:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。