Fugu-MT 論文翻訳(概要): Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients

論文の概要: Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients

arxiv url: http://arxiv.org/abs/2310.15128v2
Date: Tue, 3 Sep 2024 19:55:22 GMT
ステータス: 処理完了
システム内更新日: 2024-09-07 04:41:34.192094
Title: Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients
Title（参考訳）: 量子アニール二元勾配による確率勾配の投射
Authors: Maximilian Krahn, Michele Sasdelli, Fengyi Yang, Vladislav Golyanik, Juho Kannala, Tat-Jun Chin, Tolga Birdal,
Abstract要約: 重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
参考スコア（独自算出の注目度）: 51.82488018573326
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present, QP-SBGD, a novel layer-wise stochastic optimiser tailored towards training neural networks with binary weights, known as binary neural networks (BNNs), on quantum hardware. BNNs reduce the computational requirements and energy consumption of deep learning models with minimal loss in accuracy. However, training them in practice remains to be an open challenge. Most known BNN-optimisers either rely on projected updates or binarise weights post-training. Instead, QP-SBGD approximately maps the gradient onto binary variables, by solving a quadratic constrained binary optimisation. Under practically reasonable assumptions, we show that this update rule converges with a rate of $\mathcal{O}(1 / \sqrt{T})$. Moreover, we show how the $\mathcal{NP}$-hard projection can be effectively executed on an adiabatic quantum annealer, harnessing recent advancements in quantum computation. We also introduce a projected version of this update rule and prove that if a fixed point exists in the binary variable space, the modified updates will converge to it. Last but not least, our algorithm is implemented layer-wise, making it suitable to train larger networks on resource-limited quantum hardware. Through extensive evaluations, we show that QP-SBGD outperforms or is on par with competitive and well-established baselines such as BinaryConnect, signSGD and ProxQuant when optimising the Rosenbrock function, training BNNs as well as binary graph neural networks.
Abstract（参考訳）: 本稿では、量子ハードウェア上でバイナリニューラルネットワーク(BNN)と呼ばれる2重みを持つニューラルネットワークをトレーニングするための、新しいレイヤワイド確率オプティマイザであるQP-SBGDを提案する。 BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。しかし、実際にそれらを訓練することはオープンな課題である。最も有名なBNN最適化者は、予測更新か、トレーニング後の二乗重みに頼っている。代わりに、QP-SBGD は2次制約付き二項最適化を解くことにより、勾配を二項変数に近似する。実質的に妥当な仮定の下で、この更新規則は$\mathcal{O}(1 / \sqrt{T})$と収束することを示す。さらに,最近の量子計算の進歩を生かして,$\mathcal{NP}$-hardプロジェクションが断熱型量子アニール上で効果的に実行されることを示す。また、この更新ルールの予測バージョンを導入し、バイナリ変数空間に固定点が存在する場合、修正された更新がそれに収束することを示す。最後に、我々のアルゴリズムは階層的に実装されており、リソース制限の量子ハードウェア上で、より大きなネットワークをトレーニングするのに適している。広汎な評価により、Rosenbrock関数の最適化、BNNのトレーニング、バイナリグラフニューラルネットワークのトレーニングにおいて、QP-SBGDがBinaryConnect、SignSGD、ProxQuantなどの競合的かつ確立されたベースラインより優れているか、あるいは同等であることを示す。

関連論文リスト

Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent [37.59299233291882]
本稿では,ニュートンのGDを用いたニューラルネットワークトレーニングの高速化を目的とした,ハイブリッド量子古典スケジューラQ-Newtonを提案する。 Q-Newtonは量子と古典的な線形解法を協調する合理化スケジューリングモジュールを使用している。評価の結果,Q-Newtonは一般的な量子機械と比較してトレーニング時間を大幅に短縮できる可能性が示された。
論文参考訳（メタデータ） (2024-04-30T23:55:03Z)
Understanding Neural Network Binarization with Forward and Backward Proximal Quantizers [26.27829662433536]
ニューラルネットワークバイナライゼーションでは、BinaryConnect(BC)とその変種が標準とされている。最適化の観点から、これらのトレーニングのトリックにいくつかの光を当てることを目指しています。
論文参考訳（メタデータ） (2024-02-27T17:43:51Z)
Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文参考訳（メタデータ） (2022-09-04T06:45:33Z)
Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
論文参考訳（メタデータ） (2021-10-18T11:30:29Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文参考訳（メタデータ） (2020-11-12T08:32:04Z)
Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
量子畳み込みニューラルネットワーク(QCNN)が提案されている。我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
論文参考訳（メタデータ） (2020-11-05T16:46:13Z)
FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文参考訳（メタデータ） (2020-10-19T08:11:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。