論文の概要: Training Multi-layer Neural Networks on Ising Machine
- arxiv url: http://arxiv.org/abs/2311.03408v1
- Date: Mon, 6 Nov 2023 04:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 18:31:00.725288
- Title: Training Multi-layer Neural Networks on Ising Machine
- Title（参考訳）: イジングマシン上での多層ニューラルネットワークの訓練
- Authors: Xujie Song, Tong Liu, Shengbo Eben Li, Jingliang Duan, Wenxuan Wang
and Keqiang Li
- Abstract要約: 本稿では,量子化ニューラルネットワーク(QNN)を学習するためのIsing学習アルゴリズムを提案する。
私たちが知る限りでは、Isingマシン上で多層フィードフォワードネットワークをトレーニングする最初のアルゴリズムである。
- 参考スコア（独自算出の注目度）: 41.95720316032297
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a dedicated quantum device, Ising machines could solve large-scale binary
optimization problems in milliseconds. There is emerging interest in utilizing
Ising machines to train feedforward neural networks due to the prosperity of
generative artificial intelligence. However, existing methods can only train
single-layer feedforward networks because of the complex nonlinear network
topology. This paper proposes an Ising learning algorithm to train quantized
neural network (QNN), by incorporating two essential techinques, namely binary
representation of topological network and order reduction of loss function. As
far as we know, this is the first algorithm to train multi-layer feedforward
networks on Ising machines, providing an alternative to gradient-based
backpropagation. Firstly, training QNN is formulated as a quadratic constrained
binary optimization (QCBO) problem by representing neuron connection and
activation function as equality constraints. All quantized variables are
encoded by binary bits based on binary encoding protocol. Secondly, QCBO is
converted to a quadratic unconstrained binary optimization (QUBO) problem, that
can be efficiently solved on Ising machines. The conversion leverages both
penalty function and Rosenberg order reduction, who together eliminate equality
constraints and reduce high-order loss function into a quadratic one. With some
assumptions, theoretical analysis shows the space complexity of our algorithm
is $\mathcal{O}(H^2L + HLN\log H)$, quantifying the required number of Ising
spins. Finally, the algorithm effectiveness is validated with a simulated Ising
machine on MNIST dataset. After annealing 700 ms, the classification accuracy
achieves 98.3%. Among 100 runs, the success probability of finding the optimal
solution is 72%. Along with the increasing number of spins on Ising machine,
our algorithm has the potential to train deeper neural networks.
- Abstract（参考訳）: 専用の量子デバイスとして、イジングマシンは大規模なバイナリ最適化問題をミリ秒で解決することができる。
生成人工知能の繁栄により、フィードフォワードニューラルネットワークのトレーニングにIsingマシンを活用することへの関心が高まっている。
しかし,既存の手法では複雑な非線形ネットワークトポロジのため,単層フィードフォワードネットワークのトレーニングしかできない。
本稿では,量子化ニューラルネットワーク(QNN)を学習するためのIsing学習アルゴリズムを提案する。
私たちが知る限り、これはIsingマシン上でマルチレイヤフィードフォワードネットワークをトレーニングする最初のアルゴリズムであり、勾配ベースのバックプロパゲーションに代わるものだ。
まず、ニューロン接続とアクティベーション関数を等価性制約として表現することにより、QNNを2次制約付きバイナリ最適化(QCBO)問題として定式化する。
すべての量子化変数はバイナリエンコーディングプロトコルに基づいてバイナリビットによって符号化される。
第2に、QCBOは2次非制約バイナリ最適化(QUBO)問題に変換され、Isingマシンで効率的に解ける。
この変換はペナルティ関数とローゼンバーグ順序還元の両方を活用し、同時に等式制約を取り除き、高次損失関数を二次関数に還元する。
いくつかの仮定で、理論解析により、アルゴリズムの空間複雑性は$\mathcal{o}(h^2l + hln\log h)$であり、必要な数のイジングスピンを定量化する。
最後に、mnistデータセット上のシミュレーションイジングマシンを用いてアルゴリズムの有効性を検証する。
700msの焼鈍後、分類精度は98.3%に達する。
100ラン中、最適な解を見つける成功確率は72%である。
イジングマシンのスピン数の増加とともに、我々のアルゴリズムはより深いニューラルネットワークを訓練する可能性がある。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network
Quantization [5.982922468400901]
ニューラルネットワークの重みの順に得られる誤差境界を達成可能であることを示す。
我々は、無限アルファベットと入力データに対する最小の仮定の下で、完全なネットワーク境界を達成できることを証明した。
論文 参考訳（メタデータ） (2023-09-20T00:35:16Z) - Accelerating the training of single-layer binary neural networks using
the HHL quantum algorithm [58.720142291102135]
Harrow-Hassidim-Lloyd (HHL) の量子力学的実装から有用な情報が抽出可能であることを示す。
しかし,本論文では,HHLの量子力学的実装から有用な情報を抽出し,古典的側面における解を見つける際の複雑性を低減することを目的としている。
論文 参考訳（メタデータ） (2022-10-23T11:58:05Z) - Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
低ランクニューラルネットワークの学習アルゴリズムについて検討する。
単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。
低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-02T01:08:29Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳（メタデータ） (2021-07-19T23:41:03Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - SiMaN: Sign-to-Magnitude Network Binarization [165.5630656849309]
重みバイナライゼーションは、高倍率重みを+1s、0sに符号化することで分析ソリューションを提供する。
二元化ネットワークの学習重みは、エントロピーを許さないラプラシアン分布に概ね従うことが証明される。
CIFAR-10 と ImageNet を用いて,シマナライゼーション (SiMaN) と呼ばれる手法の評価を行った。
論文 参考訳（メタデータ） (2021-02-16T07:03:51Z) - Insights on Training Neural Networks for QUBO Tasks [8.784674687542603]
現在のハードウェア制限は、二次的制約のないバイナリ最適化問題を解く際のポテンシャルを制限する。
我々は、任意のQUBO問題を解決するためにニューラルネットワークを訓練し、スケッチ手段は、量子コンピューティングのためのシミュレータや追加のコプロセッサとしてニューロモルフィックハードウェアを使用する。
論文 参考訳（メタデータ） (2020-04-29T09:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。