論文の概要: QAMA: Quantum annealing multi-head attention operator with classical deep learning framework

• arxiv url: http://arxiv.org/abs/2504.11083v1
• Date: Tue, 15 Apr 2025 11:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:34.801454
• Title: QAMA: Quantum annealing multi-head attention operator with classical deep learning framework
• Title（参考訳）: QAMA:古典的ディープラーニングフレームワークを用いた量子アニーリングマルチヘッドアテンション演算子
• Authors: Peng Du, Shuolei Wang, Shicheng Li, Jinjing Shi,
• Abstract要約: 本研究では,量子アニーリングに基づくQAMA(Multi-head Attention)機構を提案する。 コヒーレントIsing Machine(CIM)の光学コンピューティングの利点と統合され、ミリ秒レベルのリアルタイム応答性を維持している。 QBoson CPQC量子コンピュータの実験では、QAMAは古典演算子に匹敵する精度を達成している。
• 参考スコア（独自算出の注目度）: 8.17648292427384
• License:
• Abstract: As large language models scale up, the conventional attention mechanism faces critical challenges of exponential growth in memory consumption and energy costs. Quantum annealing computing, with its inherent advantages in computational efficiency and low energy consumption, offers an innovative direction for constructing novel deep learning architectures. This study proposes the first Quantum Annealing-based Multi-head Attention (QAMA) mechanism, achieving seamless compatibility with classical attention architectures through quadratic unconstrained binary optimization (QUBO) modeling of forward propagation and energy-based backpropagation. The method innovatively leverages the quantum bit interaction characteristics of Ising models to optimize the conventional $O(n^2)$ spatiotemporal complexity into linear resource consumption. Integrated with the optical computing advantages of coherent Ising machines (CIM), the system maintains millisecond-level real-time responsiveness while significantly reducing energy consumption. Our key contributions include: Theoretical proofs establish QAMA mathematical equivalence to classical attention mechanisms; Dual optimization of multi-head specificity and long-range information capture via QUBO constraints; Explicit gradient proofs for the Ising energy equation are utilized to implement gradient conduction as the only path in the computational graph as a layer; Proposed soft selection mechanism overcoming traditional binary attention limitations to approximate continuous weights. Experiments on QBoson CPQC quantum computer show QAMA achieves comparable accuracy to classical operators while reducing inference time to millisecond level and improving solution quality. This work pioneers architectural-level integration of quantum computing and deep learning, applicable to any attention-based model, driving paradigm innovation in AI foundational computing.
• Abstract（参考訳）: 大規模言語モデルがスケールアップするにつれて、従来の注意機構は、メモリ消費とエネルギーコストの指数的増加という重要な課題に直面している。 量子アニールコンピューティングは、計算効率と低エネルギー消費に固有の利点があり、新しいディープラーニングアーキテクチャを構築するための革新的な方向性を提供する。 本研究では,量子アニーリングに基づく最初のマルチヘッドアテンション(QAMA)機構を提案し,前方伝播とエネルギーベースバックプロパゲーションの2次非拘束二元最適化(QUBO)モデルを用いて,古典的アテンションアーキテクチャとのシームレスな互換性を実現する。 この手法はイジングモデルの量子ビット相互作用特性を革新的に利用し、従来のO(n^2)$時空間の複雑さを線形資源消費に最適化する。 コヒーレントIsing Machine(CIM)の光学コンピューティングの利点と統合され、ミリ秒レベルのリアルタイム応答性を維持しながら、消費電力を大幅に削減する。 理論的な証明は、古典的注意機構に対するQAMAの数学的等価性を確立する; マルチヘッド特異性の双対最適化とQUBO制約による長距離情報取得; イジングエネルギー方程式の厳密な勾配証明を利用して、計算グラフの唯一の経路として勾配導電を実装; 提案するソフトセレクション機構は、近似連続重みに対する従来の二項注意制限を克服する。 QBoson CPQC量子コンピュータの実験では、QAMAは古典演算子に匹敵する精度を達成し、推論時間をミリ秒レベルに削減し、解の質を向上させる。 この研究は、どんな注意ベースのモデルにも適用可能な、量子コンピューティングとディープラーニングのアーキテクチャレベルの統合の先駆者であり、AI基礎コンピューティングにおけるパラダイムイノベーションを推進している。

関連論文リスト

• Quantum-Train: Rethinking Hybrid Quantum-Classical Machine Learning in the Model Compression Perspective [7.7063925534143705]
  本稿では,量子コンピューティングと機械学習アルゴリズムを統合する新しいアプローチであるQuantum-Train(QT)フレームワークを紹介する。 QTは、古典的なマッピングモデルと並んで量子ニューラルネットワークを利用することで、顕著な結果を得る。
  論文  参考訳（メタデータ） (2024-05-18T14:35:57Z)
• Graph Learning for Parameter Prediction of Quantum Approximate Optimization Algorithm [14.554010382366302]
  量子近似最適化(Quantum Approximate Optimization, QAOA)は、Max-Cutの問題を効率的に解く可能性において際立っている。 我々は,GNNをウォームスタート手法として,グラフニューラルネットワーク(GNN)を用いてQAOAを最適化する。 以上の結果から,量子コンピューティングにおけるGNNのQAOA性能向上の可能性が示唆され,量子古典的ハイブリッドコンピューティングへの新たな道が開かれた。
  論文  参考訳（メタデータ） (2024-03-05T20:23:25Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• Quantum Annealing for Single Image Super-Resolution [86.69338893753886]
  単一画像超解像(SISR)問題を解くために,量子コンピューティングに基づくアルゴリズムを提案する。 提案したAQCアルゴリズムは、SISRの精度を維持しつつ、古典的なアナログよりも向上したスピードアップを実現する。
  論文  参考訳（メタデータ） (2023-04-18T11:57:15Z)
• A Framework for Demonstrating Practical Quantum Advantage: Racing Quantum against Classical Generative Models [62.997667081978825]
  生成モデルの一般化性能を評価するためのフレームワークを構築した。 古典的および量子生成モデル間の実用的量子優位性(PQA)に対する最初の比較レースを確立する。 以上の結果から,QCBMは,他の最先端の古典的生成モデルよりも,データ制限方式の方が効率的であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-27T22:48:28Z)
• MAQA: A Quantum Framework for Supervised Learning [2.064612766965483]
  本研究は,古典的教師付き機械学習アルゴリズムの多元的出力を再現可能な,普遍的で効率的なフレームワークを提案する。 提案するフレームワークは,多機能および多機能の組み合わせにより,Multiple Aggregator Quantum Algorithm (MAQA) と名付けられた。 2つ目の重要な追加として、提案フレームワークをハイブリッド量子古典およびフォールトトレラント量子アルゴリズムとして採用することについて議論する。
  論文  参考訳（メタデータ） (2023-03-20T11:18:22Z)
• QSAN: A Near-term Achievable Quantum Self-Attention Network [73.15524926159702]
  SAM(Self-Attention Mechanism)は機能の内部接続を捉えるのに長けている。 短期量子デバイスにおける画像分類タスクに対して,新しい量子自己注意ネットワーク(QSAN)を提案する。
  論文  参考訳（メタデータ） (2022-07-14T12:22:51Z)
• Adiabatic Quantum Computing for Multi Object Tracking [170.8716555363907]
  マルチオブジェクト追跡(MOT)は、オブジェクト検出が時間を通して関連付けられているトラッキング・バイ・検出のパラダイムにおいて、最もよくアプローチされる。 これらの最適化問題はNPハードであるため、現在のハードウェア上の小さなインスタンスに対してのみ正確に解決できる。 本手法は,既成整数計画法を用いても,最先端の最適化手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-02-17T18:59:20Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• Low depth mechanisms for quantum optimization [0.25295633594332334]
  我々は、成功の物理的メカニズムとアルゴリズム改善の導出の失敗を理解するために、グラフ上の運動エネルギーに関連する言語とツールの開発に重点を置いている。 これは、波動関数の閉じ込め、位相ランダム化、理想解から遠く離れた目標に潜む影欠陥の影響と関係している。
  論文  参考訳（メタデータ） (2020-08-19T18:16:26Z)
• Higher-Order Quantum Reservoir Computing [0.0]
  本稿では,線形フィードバックなどの古典的接続を介して相互に通信する,複数だが小さな量子システムからなるハイブリッド量子古典的フレームワークを提案する。 大規模非線形力学系をエミュレートする際のフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2020-06-16T08:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。