論文の概要: Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters
- arxiv url: http://arxiv.org/abs/2605.05914v1
- Date: Thu, 07 May 2026 09:25:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.663334
- Title: Quantum-enhanced Large Language Models on Quantum Hardware via Cayley Unitary Adapters
- Title(参考訳): Cayley Unitary Adaptersによる量子ハードウェア上の量子強化大言語モデル
- Authors: Borja Aizpurua, Sukhbinder Singh, Augustine Kshetrimayum, Saeed S. Jahromi, Roman Orus,
- Abstract要約: 大規模言語モデル(LLM)は人工知能を変革した。
トレーニング可能なパラメータはすべて、モデルサイズと不相応にスケールする古典的なメモリを必要とします。
量子コンピューティングは質的に異なる経路を提供するが、実際のハードウェア上での実践的な実証はいまだに解明されていない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have transformed artificial intelligence, yet classical architectures impose a fundamental constraint: every trainable parameter demands classical memory that scales unfavourably with model size. Quantum computing offers a qualitatively different pathway, but practical demonstrations on real hardware have remained elusive for models of practical relevance. Here we show that Cayley-parameterised unitary adapters -- quantum circuit blocks inserted into the frozen projection layers of pre-trained LLMs and executed on a 156-qubit IBM Quantum System Two superconducting processor -- improve the perplexity of Llama 3.1 8B, an 8-billion-parameter model in widespread use, by 1.4% with only 6,000 additional parameters and end-to-end inference validated on real Quantum Processing Unit (QPU). A systematic study on SmolLM2 (135M parameters), chosen for its tractability, reveals monotonically improving perplexity with unitary block dimension, 83% recovery of compression-induced degradation, and correct answers to questions that both classical baselines fail -- with a sharp noise-expressivity phase transition identifying the concrete path to quantum utility at larger qubit scales.
- Abstract(参考訳): 大規模言語モデル(LLM)は人工知能を変換しているが、古典的なアーキテクチャは基本的な制約を課している。
量子コンピューティングは質的に異なる経路を提供するが、実際のハードウェア上での実践的な実演は、実用的妥当性のモデルではいまだに解明されていない。
ここでは,Cayley-parameterized Unitary Adapter -- 事前学習したLLMの凍結プロジェクション層に挿入して156キュービットのIBM Quantum System 2つの超伝導プロセッサ -- Llama 3.1 8Bのパープレキシティを1.4%向上し,6000以上の追加パラメータと実量子処理ユニット(QPU)上で検証されたエンドツーエンドの推論値のみを1.4%向上することを示した。
トラクタビリティのために選択されたSmolLM2 (135Mパラメータ) の体系的研究では、単調なブロック次元によるパープレキシティの向上、圧縮誘起劣化の83%の回復、および古典的ベースラインが失敗するという疑問に対する正しい答えが、より大きな量子ビットスケールでの量子ユーティリティへの具体的な経路を特定する鋭いノイズ-指数位相遷移によって明らかにされている。
関連論文リスト
- Adversarially Robust Quantum Transfer Learning [1.3113458064027566]
量子機械学習(QML)は、古典的な機械学習システムの性能向上のための研究分野として期待されている。
この章では、量子コンピューティングの利点と転送学習技術を組み合わせて高解像度画像分類に対処するハイブリッド量子古典アーキテクチャを紹介する。
論文 参考訳(メタデータ) (2025-10-18T02:16:34Z) - VQC-MLPNet: An Unconventional Hybrid Quantum-Classical Architecture for Scalable and Robust Quantum Machine Learning [50.95799256262098]
変分量子回路(VQC)は量子機械学習を約束するが、表現性、訓練性、耐雑音性の課題に直面している。
本稿では,VQCが学習中に古典多層パーセプトロンの第一層重みを生成するハイブリッドアーキテクチャであるVQC-MLPNetを提案する。
論文 参考訳(メタデータ) (2025-06-12T01:38:15Z) - Quantum Knowledge Distillation for Large Language Models [10.023534560183919]
大規模言語モデルのための量子知識蒸留モデル(QD-LLM)を提案する。
古典的シミュレーションでは、QD-LLMは複数のテキスト分類タスクにおいていくつかの主流蒸留法より優れている。
得られた回路をQuafuプラットフォームを介してBaihua超伝導量子プロセッサ上に展開し,実用性を評価する。
論文 参考訳(メタデータ) (2025-05-19T14:56:24Z) - An Efficient Quantum Classifier Based on Hamiltonian Representations [50.467930253994155]
量子機械学習(QML)は、量子コンピューティングの利点をデータ駆動タスクに移行しようとする分野である。
入力をパウリ弦の有限集合にマッピングすることで、データ符号化に伴うコストを回避できる効率的な手法を提案する。
我々は、古典的および量子モデルに対して、テキストおよび画像分類タスクに対する我々のアプローチを評価する。
論文 参考訳(メタデータ) (2025-04-13T11:49:53Z) - Quantum-Enhanced LLM Efficient Fine Tuning [25.45732471566526]
Low-Rank Adaptation (LoRA)は、低ランク行列近似による事前学習言語モデルの効率的な微調整を可能にする。
本稿では,量子ニューラルネットワークとテンソルネットワークを統合するパラメータ効率の高い微調整法である量子ハイブリッド適応(QTHA)を提案する。
実験により、QTHAはLoRAの非効率な微調整に匹敵する性能を達成することが示された。
論文 参考訳(メタデータ) (2025-03-17T03:59:26Z) - A Quantum Circuit-Based Compression Perspective for Parameter-Efficient Learning [19.178352290785153]
量子パラメータ生成の枠組みに量子s適応(QPA)を導入する。
QPAはQNNと古典的な多層パーセプトロンマッピングモデルを統合し、微調整のためのパラメータを生成する。
Gemma-2とGPT-2をケーススタディとして、QPAはパラメータ効率のよい微調整法に対して重要なパラメータ還元を示す。
論文 参考訳(メタデータ) (2024-10-13T14:09:29Z) - EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。
より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。
効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
論文 参考訳(メタデータ) (2024-07-10T17:53:30Z) - Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。
テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。
この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
論文 参考訳(メタデータ) (2023-05-18T03:08:18Z) - Error mitigation and quantum-assisted simulation in the error corrected
regime [77.34726150561087]
量子コンピューティングの標準的なアプローチは、古典的にシミュレート可能なフォールトトレラントな演算セットを促進するという考え方に基づいている。
量子回路の古典的準確率シミュレーションをどのように促進するかを示す。
論文 参考訳(メタデータ) (2021-03-12T20:58:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。