論文の概要: Multi-head Quantum Neural Networks: Replacing Transformer Blocks with NISQ Modules inside a 30-Billion-Parameter LLM
- arxiv url: http://arxiv.org/abs/2611.15250v1
- Date: Wed, 11 Nov 2026 09:39:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.095169
- Title: Multi-head Quantum Neural Networks: Replacing Transformer Blocks with NISQ Modules inside a 30-Billion-Parameter LLM
- Title(参考訳): マルチヘッド量子ニューラルネットワーク:30ビリオンパラメータLLM内のNISQモジュールによるトランスフォーマーブロックのリプレース
- Abstract要約: ノイズの多い中間規模量子(NISQ)デバイスと互換性のある量子モジュールであるマルチヘッド量子ニューラルネットワーク(QNN)を導入する。
トレーニング可能なパラメータが1,45281ドルである1つのマルチヘッドQNNは、8つの変圧器ブロックの連続スパンを置き換えることができることを示す。
- 参考スコア(独自算出の注目度): 5.675659044306105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce the multi-head quantum neural network (QNN), a quantum module compatible with noisy intermediate-scale quantum (NISQ) devices that can replace transformer blocks inside pre-trained large language models (LLMs) with little loss in accuracy and with far fewer parameters than the blocks it replaces. Encoding a model's $D$ hidden neurons into a qubit register is the obstacle: amplitude encoding scales poorly in circuit depth and angle encoding in qubit count, so neither is practical at production-scale width. We instead partition the hidden space into $k$ disjoint heads, angle-encode each into an $n_q$-qubit register, process the heads in parallel, and couple them through constrained classical linear layers, the mixers. Performing surgery on Qwen3-30B-A3B-Instruct-2507, we show that a single multi-head QNN with $145\,281$ trainable parameters ($D=2048$, $k=32$, $n_q=8$, $L=4$) can replace a contiguous span of eight transformer blocks, displacing $16.33\%$ of the model's parameters. Ablations show that, for a single replaced block, the quantum heads (circuits followed by a learned readout), and not the classical mixers alone, recover the displaced function, whereas for fused spans the mixers alone come within $1$-$3\%$ of the full module in perplexity. Whether this benefit is specific to trained, entangling quantum circuits is not established: controls that switch the entangler off (two seeds), or freeze the circuit at its initial or at uniformly random angles (one seed), beat the full module on held-out perplexity, and a parameter-matched classical multilayer perceptron remains a few percent ahead of the full module. We train classically with exact statevector simulation, then execute the quantum heads of our fusion checkpoints on a $156$-qubit IBM Heron processor, showing that NISQ-scale quantum modules can be installed in a production-scale LLM and run on hardware.
- Abstract(参考訳): マルチヘッド量子ニューラルネットワーク(QNN)は、ノイズの多い中間規模量子(NISQ)デバイスと互換性のある量子モジュールであり、プリトレーニング済みの大規模言語モデル(LLM)内のトランスフォーマーブロックを、精度の損失が少なく、置換したブロックよりもはるかに少ないパラメータで置き換えることができる。
モデルの$D$隠されたニューロンをキュービットレジスタにエンコードすることは障害であり、振幅符号化は回路の深さや角のエンコーディングに乏しく、生産規模では実用的ではない。
代わりに、隠れた空間を$k$非結合のヘッドに分割し、それぞれを$n_q$-qubitレジスタにエンコードし、ヘッドを並列に処理し、制約のある古典的な線形層、ミキサーを通してそれらを結合する。
Qwen3-30B-A3B-Instruct-2507では、トレーニング可能なパラメータ(D=2048$, $k=32$, $n_q=8$, $L=4$)を持つ単一のマルチヘッドQNNが、8つのトランスフォーマーブロックの連続スパンを置き換えることができ、モデルのパラメータの16.33\%を置き換えることができる。
アブレーションは、1つの置換ブロックの場合、量子ヘッド(回路は学習された読み出しが続く)は古典的なミキサーのみではなく、転位関数を回復する。
この利点が訓練に特有であるかどうかに関わらず、量子回路の絡み合いは確立されていない: エンタングルを2つのシードから切り離す制御、またはその初期または均一にランダムな角度で回路を凍結する制御(1つのシード)、保持されたパープレキシティで全モジュールを打ち負かし、パラメータマッチングされた古典的な多層パーセプトロンはフルモジュールより数パーセント先にとどまる。
我々は、古典的に正確な状態ベクトルシミュレーションでトレーニングを行い、56ドルのIBM Heronプロセッサで核融合チェックポイントの量子ヘッドを実行し、NISQスケールの量子モジュールをプロダクションスケールのLLMにインストールしてハードウェア上で動作させることができることを示す。
関連論文リスト
- Mapping photon-number regimes in single-emitter lasers [41.99844472131922]
本研究では, 単一キャビティモードに強く結合した非整合励起三レベルエミッタからなるオープン量子系の数値解析を行った。
レーザーの挙動は、最小の光子集団から生じる可能性がある。
本研究は, 単一光源の動作限界の定義に応用できる。
論文 参考訳(メタデータ) (2026-06-30T07:10:49Z) - Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons [27.855778669417592]
皮質ニューロンは複雑で、マルチタイムスケールのプロセッサで、リカレント回路に接続されている。
機械学習は主に、初期のニューラルネットワーク理論から継承された、非常に単純なユニットのモデルを構築する。
本稿では,Expressive Memory (ELM) ニューロンからリカレント層を構築するEMMネットワークを紹介する。
論文 参考訳(メタデータ) (2026-05-12T12:29:33Z) - Coined Quantum Walks on Complex Networks for Quantum Computers [2.2336243882030025]
複雑なネットワークでは、コインとシフト演算子はノードの様々な次数に依存する。
高レベル量子プログラム言語であるQmodを用いて回路を実装した。
We run the proposed circuits on the ibm_torino superconducting quantum processor for Watts-Strogatz model。
論文 参考訳(メタデータ) (2025-12-18T10:55:55Z) - Accelerating Inference for Multilayer Neural Networks with Quantum Computers [4.168548169504036]
非線形アクティベーション機能を持つ多層ニューラルネットワークの完全コヒーレントな量子実装について述べる。
3つの量子データアクセス体制下でのネットワークの推論の複雑さを分析する。
論文 参考訳(メタデータ) (2025-10-08T16:26:50Z) - The Quantum Imitation Game: Reverse Engineering of Quantum Machine Learning Models [2.348041867134616]
量子機械学習(QML)は、機械学習モデルと量子コンピューティングのパラダイムを融合させる。
量子コンピューティングのNoisy Intermediate-Scale Quantum(NISQ)時代における多くのサードパーティベンダーの拡大により、QMLモデルのセキュリティが最重要となる。
我々は、信頼できない量子クラウドプロバイダが、推論中にトランスパイルされたユーザ設計のトレーニングされたQMLモデルにホワイトボックスアクセスを持つ敵であると仮定する。
論文 参考訳(メタデータ) (2024-07-09T21:35:19Z) - Q-Newton: Hybrid Quantum-Classical Scheduling for Accelerating Neural Network Training with Newton's Gradient Descent [37.59299233291882]
本稿では,ニュートンのGDを用いたニューラルネットワークトレーニングの高速化を目的とした,ハイブリッド量子古典スケジューラQ-Newtonを提案する。
Q-Newtonは量子と古典的な線形解法を協調する合理化スケジューリングモジュールを使用している。
評価の結果,Q-Newtonは一般的な量子機械と比較してトレーニング時間を大幅に短縮できる可能性が示された。
論文 参考訳(メタデータ) (2024-04-30T23:55:03Z) - Towards large-scale quantum optimization solvers with few qubits [59.63282173947468]
我々は、$m=mathcalO(nk)$バイナリ変数を$n$ qubitsだけを使って最適化するために、$k>1$で可変量子ソルバを導入する。
我々は,特定の量子ビット効率の符号化が,バレン高原の超ポリノミウム緩和を内蔵特徴としてもたらすことを解析的に証明した。
論文 参考訳(メタデータ) (2024-01-17T18:59:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。