論文の概要: QAMA: Scalable Quantum Annealing Multi-Head Attention Operator for Deep Learning

• arxiv url: http://arxiv.org/abs/2504.11083v2
• Date: Sun, 12 Oct 2025 03:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:08.373265
• Title: QAMA: Scalable Quantum Annealing Multi-Head Attention Operator for Deep Learning
• Title（参考訳）: QAMA: ディープラーニングのためのスケーラブルな量子アニーリングマルチヘッドアテンション演算子
• Authors: Peng Du, Jinjing Shi, Wenxuan Wang, Yin Ma, Kai Wen, Xuelong Li,
• Abstract要約: QAMA(Quantum Annealing Multi-Head Attention)は、エネルギーベースのハミルトン最適化問題として注目を集める新しいドロップイン演算子である。 この枠組みでは、トークン相互作用を二項二項項に符号化し、低エネルギー構成の探索に量子アニールを用いる。 経験的に、自然言語と視覚のベンチマークによる評価は、タスク全体にわたって、標準的なマルチヘッドの注意から少なくとも2.7ポイントの精度が低下していることを示している。
• 参考スコア（独自算出の注目度）: 48.12231190677108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Attention mechanisms underpin modern deep learning, while the quadratic time and space complexity limit scalability for long sequences. To address this, Quantum Annealing Multi-Head Attention (QAMA) is proposed, a novel drop-in operator that reformulates attention as an energy-based Hamiltonian optimization problem. In this framework, token interactions are encoded into binary quadratic terms, and quantum annealing is employed to search for low-energy configurations that correspond to effective attention patterns. Unlike classical sparse or approximate attention methods that rely on hand-crafted heuristics, QAMA allows sparsity structures to emerge naturally from the optimization process. Theoretically, computational complexity is analysed through single-spin flip dynamics, providing time to solution runtime bounds that depend on the spectral properties of the annealing Hamiltonian. Empirically, evaluation on both natural language and vision benchmarks shows that, across tasks, accuracy deviates by at most 2.7 points from standard multi-head attention, while requiring only linear qubits in sequence length. Visualizations further reveal that the Hamiltonian penalty terms induce meaningful and interpretable sparsity across heads. Finally, deployment on a coherent Ising machine validates the feasibility of running QAMA on real quantum hardware, showing tangible inference-time reductions compared with classical implementations. These results highlight QAMA as a pioneering and scalable step toward integrating quantum optimization devices into deep neural architectures, providing a seamlessly integrable and hardware-compatible alternative to conventional attention mechanisms. This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible.
• Abstract（参考訳）: 注意機構は現代のディープラーニングを支える一方で、二次時間と空間の複雑さは長いシーケンスのスケーラビリティを制限する。 これを解決するために、エネルギーベースのハミルトン最適化問題として注目を集める新しいドロップイン演算子QAMA(Quantum Annealing Multi-Head Attention)を提案する。 この枠組みでは、トークン相互作用を二項二項項に符号化し、量子アニールを用いて効果的な注意パターンに対応する低エネルギーな構成を探索する。 手作りのヒューリスティックに依存する古典的なスパース法や近似的な注意法とは異なり、QAMAは最適化プロセスから空間構造が自然に現れることを許している。 理論的には、計算複雑性は単スピンフリップダイナミクスによって解析され、アニーリングハミルトンのスペクトル特性に依存する解ランタイム境界への時間を与える。 経験的に、自然言語と視覚のベンチマークによる評価は、タスク全体にわたって、精度が標準のマルチヘッドの注意から少なくとも2.7ポイントずれる一方で、シーケンス長の線形量子ビットしか必要としないことを示している。 可視化により、ハミルトンのペナルティ用語は、頭間で有意義で解釈可能なスパーシリティをもたらすことが明らかになった。 最後に、コヒーレントIsingマシンへのデプロイは、実量子ハードウェア上でQAMAを実行する可能性を検証する。 これらの結果は、量子最適化デバイスをディープニューラルネットワークアーキテクチャに統合するための先駆的でスケーラブルなステップとして、QAMAを強調している。 この研究はIEEEに提出された。 著作権は通知なしで転送され、その後、このバージョンはアクセスできなくなる。

関連論文リスト

• VQC-MLPNet: An Unconventional Hybrid Quantum-Classical Architecture for Scalable and Robust Quantum Machine Learning [60.996803677584424]
  変分量子回路(VQC)は、量子機械学習のための新しい経路を提供する。 それらの実用的応用は、制約付き線形表現性、最適化課題、量子ハードウェアノイズに対する鋭敏感といった固有の制限によって妨げられている。 この研究は、これらの障害を克服するために設計されたスケーラブルで堅牢なハイブリッド量子古典アーキテクチャであるVQC-MLPNetを導入している。
  論文  参考訳（メタデータ） (2025-06-12T01:38:15Z)
• RhoDARTS: Differentiable Quantum Architecture Search with Density Matrix Simulations [48.670876200492415]
  変分量子アルゴリズム(VQA)は、強力なノイズ中間スケール量子(NISQ)コンピュータを利用するための有望なアプローチである。 本稿では,量子混合状態の進化をモデルとしたQASアルゴリズムである$rho$DARTSを提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:30:35Z)
• Quantum Adaptive Self-Attention for Quantum Transformer Models [0.0]
  本稿では,量子アテンション機構を備えた古典的トランスフォーマーモデルを強化するハイブリッドアーキテクチャであるQuantum Adaptive Self-Attention (QASA)を提案する。 QASAはドット積の注意をパラメータ化量子回路(PQC)に置き換え、量子ヒルベルト空間におけるトークン間の関係を適応的に捉える。 合成時系列タスクの実験により、QASAは標準変圧器と古典的変圧器の双方と比較して、より高速な収束と優れた一般化を実現することが示された。
  論文  参考訳（メタデータ） (2025-04-05T02:52:37Z)
• Quantum-Enhanced Attention Mechanism in NLP: A Hybrid Classical-Quantum Approach [0.0]
  本稿では,量子化されたアテンション機構を標準の古典的アーキテクチャに組み込んだ,古典量子変換器のハイブリッドモデルを提案する。 様々なNLPベンチマークにおいて,このアプローチの有効性を実証し,効率と表現能力の両面で改善したことを示す。
  論文  参考訳（メタデータ） (2025-01-26T18:29:06Z)
• Leveraging Pre-Trained Neural Networks to Enhance Machine Learning with Variational Quantum Circuits [48.33631905972908]
  我々は、事前学習されたニューラルネットワークを用いて変分量子回路(VQC)を強化する革新的なアプローチを導入する。 この手法は近似誤差をキュービット数から効果的に分離し、制約条件の必要性を除去する。 我々の結果はヒトゲノム解析などの応用にまで拡張され、我々のアプローチの幅広い適用性を示している。
  論文  参考訳（メタデータ） (2024-11-13T12:03:39Z)
• Quantum-Train: Rethinking Hybrid Quantum-Classical Machine Learning in the Model Compression Perspective [7.7063925534143705]
  本稿では,量子コンピューティングと機械学習アルゴリズムを統合する新しいアプローチであるQuantum-Train(QT)フレームワークを紹介する。 QTは、古典的なマッピングモデルと並んで量子ニューラルネットワークを利用することで、顕著な結果を得る。
  論文  参考訳（メタデータ） (2024-05-18T14:35:57Z)
• Practical Few-Atom Quantum Reservoir Computing [0.0]
  量子Reservoir Computing (QRC) は、複雑な計算問題に異常な効率とエネルギー使用量の最小化で対処するために量子システムを利用する。 本稿では、光学キャビティ内の2レベル原子をわずかに含む最小限の量子貯水池を利用するQRCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-08T04:14:31Z)
• Graph Learning for Parameter Prediction of Quantum Approximate Optimization Algorithm [14.554010382366302]
  量子近似最適化(Quantum Approximate Optimization, QAOA)は、Max-Cutの問題を効率的に解く可能性において際立っている。 我々は,GNNをウォームスタート手法として,グラフニューラルネットワーク(GNN)を用いてQAOAを最適化する。 以上の結果から,量子コンピューティングにおけるGNNのQAOA性能向上の可能性が示唆され,量子古典的ハイブリッドコンピューティングへの新たな道が開かれた。
  論文  参考訳（メタデータ） (2024-03-05T20:23:25Z)
• Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
  変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。 テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。 この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:08:18Z)
• Quantum Annealing for Single Image Super-Resolution [86.69338893753886]
  単一画像超解像(SISR)問題を解くために,量子コンピューティングに基づくアルゴリズムを提案する。 提案したAQCアルゴリズムは、SISRの精度を維持しつつ、古典的なアナログよりも向上したスピードアップを実現する。
  論文  参考訳（メタデータ） (2023-04-18T11:57:15Z)
• A Framework for Demonstrating Practical Quantum Advantage: Racing Quantum against Classical Generative Models [62.997667081978825]
  生成モデルの一般化性能を評価するためのフレームワークを構築した。 古典的および量子生成モデル間の実用的量子優位性(PQA)に対する最初の比較レースを確立する。 以上の結果から,QCBMは,他の最先端の古典的生成モデルよりも,データ制限方式の方が効率的であることが示唆された。
  論文  参考訳（メタデータ） (2023-03-27T22:48:28Z)
• MAQA: A Quantum Framework for Supervised Learning [2.064612766965483]
  本研究は,古典的教師付き機械学習アルゴリズムの多元的出力を再現可能な,普遍的で効率的なフレームワークを提案する。 提案するフレームワークは,多機能および多機能の組み合わせにより,Multiple Aggregator Quantum Algorithm (MAQA) と名付けられた。 2つ目の重要な追加として、提案フレームワークをハイブリッド量子古典およびフォールトトレラント量子アルゴリズムとして採用することについて議論する。
  論文  参考訳（メタデータ） (2023-03-20T11:18:22Z)
• Synergy Between Quantum Circuits and Tensor Networks: Short-cutting the Race to Practical Quantum Advantage [43.3054117987806]
  本稿では,量子回路の初期化を最適化するために,古典計算資源を利用するスケーラブルな手法を提案する。 本手法は, PQCのトレーニング性, 性能を, 様々な問題において著しく向上させることを示す。 古典的コンピュータを用いて限られた量子資源を増強する手法を実証することにより、量子コンピューティングにおける量子と量子に着想を得たモデル間の相乗効果を実証する。
  論文  参考訳（メタデータ） (2022-08-29T15:24:03Z)
• QSAN: A Near-term Achievable Quantum Self-Attention Network [73.15524926159702]
  SAM(Self-Attention Mechanism)は機能の内部接続を捉えるのに長けている。 短期量子デバイスにおける画像分類タスクに対して,新しい量子自己注意ネットワーク(QSAN)を提案する。
  論文  参考訳（メタデータ） (2022-07-14T12:22:51Z)
• Adiabatic Quantum Computing for Multi Object Tracking [170.8716555363907]
  マルチオブジェクト追跡(MOT)は、オブジェクト検出が時間を通して関連付けられているトラッキング・バイ・検出のパラダイムにおいて、最もよくアプローチされる。 これらの最適化問題はNPハードであるため、現在のハードウェア上の小さなインスタンスに対してのみ正確に解決できる。 本手法は,既成整数計画法を用いても,最先端の最適化手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-02-17T18:59:20Z)
• Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
  本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。 本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
  論文  参考訳（メタデータ） (2021-05-06T02:22:23Z)
• Low depth mechanisms for quantum optimization [0.25295633594332334]
  我々は、成功の物理的メカニズムとアルゴリズム改善の導出の失敗を理解するために、グラフ上の運動エネルギーに関連する言語とツールの開発に重点を置いている。 これは、波動関数の閉じ込め、位相ランダム化、理想解から遠く離れた目標に潜む影欠陥の影響と関係している。
  論文  参考訳（メタデータ） (2020-08-19T18:16:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。