論文の概要: Convergence and scaling of Boolean-weight optimization for hardware reservoirs

• arxiv url: http://arxiv.org/abs/2305.07908v1
• Date: Sat, 13 May 2023 12:15:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 18:49:09.617706
• Title: Convergence and scaling of Boolean-weight optimization for hardware reservoirs
• Title（参考訳）: ハードウェア貯留層におけるブールウェイト最適化の収束とスケーリング
• Authors: Louis Andreoli, St\'ephane Chr\'etien, Xavier Porte, Daniel Brunner
• Abstract要約: 我々は、ランダムにリカレント接続されたニューラルネットワークの読み出し層を最適化するために、高効率なコーディネートDescentのスケーリング法則を解析的に導出した。 本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを完璧に再現するものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hardware implementation of neural network are an essential step to implement next generation efficient and powerful artificial intelligence solutions. Besides the realization of a parallel, efficient and scalable hardware architecture, the optimization of the system's extremely large parameter space with sampling-efficient approaches is essential. Here, we analytically derive the scaling laws for highly efficient Coordinate Descent applied to optimizing the readout layer of a random recurrently connection neural network, a reservoir. We demonstrate that the convergence is exponential and scales linear with the network's number of neurons. Our results perfectly reproduce the convergence and scaling of a large-scale photonic reservoir implemented in a proof-of-concept experiment. Our work therefore provides a solid foundation for such optimization in hardware networks, and identifies future directions that are promising for optimizing convergence speed during learning leveraging measures of a neural network's amplitude statistics and the weight update rule.
• Abstract（参考訳）: ニューラルネットワークのハードウェア実装は、次世代の効率的で強力な人工知能ソリューションを実装するための重要なステップである。 並列で効率的でスケーラブルなハードウェアアーキテクチャの実現に加えて、サンプリング効率のよいアプローチでシステムの非常に大きなパラメータ空間の最適化が不可欠である。 本稿では,ランダムリカレント結合型ニューラルネットワーク,リザーバの読み出し層を最適化するために,高度に効率的な座標降下のためのスケーリング則を解析的に導出する。 この収束は指数関数的であり,ネットワークのニューロン数に線形にスケールすることを示す。 本結果は,概念実証実験で実施した大規模フォトニック貯水池の収束とスケーリングを再現するものである。 そこで本研究では,ハードウェアネットワークにおけるこのような最適化の基盤を提供し,ニューラルネットワークの振幅統計量と重み付け更新則を活用し,学習中に収束速度を最適化する今後の方向性を明らかにした。

関連論文リスト

• Training Hamiltonian neural networks without backpropagation [0.0]
  本稿では,ハミルトニアン系を近似するニューラルネットワークのトレーニングを高速化するバックプロパゲーションフリーアルゴリズムを提案する。 従来のハミルトニアンニューラルネットワークよりもCPUの方が100倍以上高速であることを示す。
  論文  参考訳（メタデータ） (2024-11-26T15:22:30Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Logarithmically Quantized Distributed Optimization over Dynamic Multi-Agent Networks [0.951494089949975]
  対数量子化データ伝送を受けるマルチエージェントネットワーク上での分散最適化ダイナミクスを提案する。 均一な量子化と比較すると、ほぼ最適値を表す精度が高く、分散最適化アルゴリズムの精度も高い。
  論文  参考訳（メタデータ） (2024-10-27T06:01:01Z)
• Geometry Aware Meta-Learning Neural Network for Joint Phase and Precoder Optimization in RIS [9.20186865054847]
  マルチユーザ複数入力単一出力システムにおける重み付け総和率を最大化する,複雑で幾何を考慮したメタラーニングニューラルネットワークを提案する。 我々は、位相シフトに複雑な値のニューラルネットワークを使用し、Eulerにインスパイアされたプレコーダネットワークのアップデートを行った。 我々のアプローチは、既存のニューラルネットワークベースのアルゴリズムよりも優れており、より重み付けされた総和率、消費電力の低減、およびはるかに高速な収束を提供する。
  論文  参考訳（メタデータ） (2024-09-17T15:20:23Z)
• Sparks of Quantum Advantage and Rapid Retraining in Machine Learning [0.0]
  本研究では、最小パラメータで複雑な関数を表現するために、強力なニューラルネットワークアーキテクチャを最適化する。 高速再トレーニング機能を導入し、古いサンプルを再処理することなく、ネットワークを新しいデータで再トレーニングできるようにする。 量子ハードウェアとアルゴリズム最適化のさらなる進歩により、量子最適化機械学習モデルが幅広い応用をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-07-22T19:55:44Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Acceleration techniques for optimization over trained neural network ensembles [1.0323063834827415]
  本研究では, 線形単位活性化の補正されたフィードフォワードニューラルネットワークを用いて, 目的関数をモデル化する最適化問題について検討する。 本稿では,1つのニューラルネットワークを最適化するために,既存のBig-M$の定式化をベースとした混合整数線形プログラムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T20:50:54Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。