論文の概要: Quantum Adaptive Self-Attention for Quantum Transformer Models

• arxiv url: http://arxiv.org/abs/2504.05336v1
• Date: Sat, 05 Apr 2025 02:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 06:49:49.128085
• Title: Quantum Adaptive Self-Attention for Quantum Transformer Models
• Title（参考訳）: 量子変換器モデルに対する量子適応自己認識
• Authors: Chi-Sheng Chen, En-Jui Kuo,
• Abstract要約: 本稿では,量子アテンション機構を備えた古典的トランスフォーマーモデルを強化するハイブリッドアーキテクチャであるQuantum Adaptive Self-Attention (QASA)を提案する。 QASAはドット積の注意をパラメータ化量子回路(PQC)に置き換え、量子ヒルベルト空間におけるトークン間の関係を適応的に捉える。 合成時系列タスクの実験により、QASAは標準変圧器と古典的変圧器の双方と比較して、より高速な収束と優れた一般化を実現することが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer models have revolutionized sequential learning across various domains, yet their self-attention mechanism incurs quadratic computational cost, posing limitations for real-time and resource-constrained tasks. To address this, we propose Quantum Adaptive Self-Attention (QASA), a novel hybrid architecture that enhances classical Transformer models with a quantum attention mechanism. QASA replaces dot-product attention with a parameterized quantum circuit (PQC) that adaptively captures inter-token relationships in the quantum Hilbert space. Additionally, a residual quantum projection module is introduced before the feedforward network to further refine temporal features. Our design retains classical efficiency in earlier layers while injecting quantum expressiveness in the final encoder block, ensuring compatibility with current NISQ hardware. Experiments on synthetic time-series tasks demonstrate that QASA achieves faster convergence and superior generalization compared to both standard Transformers and reduced classical variants. Preliminary complexity analysis suggests potential quantum advantages in gradient computation, opening new avenues for efficient quantum deep learning models.
• Abstract（参考訳）: トランスフォーマーモデルは、様々な領域にわたるシーケンシャルな学習に革命をもたらしたが、その自己認識メカニズムは2次計算コストを発生させ、リアルタイムおよびリソース制約されたタスクに制限を課している。 そこで本研究では,量子アテンション機構を備えた古典的トランスフォーマーモデルを強化するハイブリッドアーキテクチャであるQuantum Adaptive Self-Attention (QASA)を提案する。 QASAはドット積の注意をパラメータ化量子回路(PQC)に置き換え、量子ヒルベルト空間におけるトークン間の関係を適応的に捉える。 さらに、時間的特徴をさらに洗練させるために、フィードフォワードネットワークの前に残留量子投影モジュールが導入される。 最終的なエンコーダブロックに量子表現性を注入しながら,従来のNISQハードウェアとの互換性を確保しつつ,従来のレイヤにおける古典的効率性を維持する。 合成時系列タスクの実験により、QASAは標準変圧器と古典的変圧器の双方と比較して、より高速な収束と優れた一般化を実現することが示された。 予備的な複雑性分析は、勾配計算における潜在的な量子優位性を示唆し、効率的な量子深層学習モデルのための新しい道を開く。

関連論文リスト

• Quantum parallel information exchange (QPIE) hybrid network with transfer learning [18.43273756128771]
  量子機械学習(QML)は、複雑なパターンを明らかにする可能性のある革新的なフレームワークとして登場した。 量子並列情報交換(QPIE)ハイブリッドネットワークを導入する。 量子処理ユニットにパラメータシフトルールを適用する動的勾配選択法を開発した。
  論文  参考訳（メタデータ） (2025-04-05T17:25:26Z)
• A Survey of Quantum Transformers: Approaches, Advantages, Challenges, and Future Directions [2.5871385953824855]
  量子トランスモデル(Quantum Transformer Model)は、量子機械学習(QML)における重要な研究方向を表す。 PQCベースのTransformerモデルは、現在の研究の主要な焦点である。 量子線形代数(QLA)ベースのトランスフォーマーモデルは、将来のフォールトトレラント量子コンピューティングに依存している。
  論文  参考訳（メタデータ） (2025-04-04T05:40:18Z)
• Toward Large-Scale Distributed Quantum Long Short-Term Memory with Modular Quantum Computers [5.673361333697935]
  我々は、ノイズ中間スケール量子(NISQ)デバイス上でのスケーラビリティ問題に対処するために、分散量子長短期メモリ(QLSTM)フレームワークを導入する。 QLSTMは長期の時間的依存関係をキャプチャし、分散アーキテクチャは基礎となる変分量子回路をより小さく管理可能なサブ回路に分割する。 分散QLSTMは,古典的アプローチと比較して,安定した収束とトレーニングダイナミクスの向上を実現している。
  論文  参考訳（メタデータ） (2025-03-18T10:07:34Z)
• Programming Variational Quantum Circuits with Quantum-Train Agent [3.360429911727189]
  可変量子回路(VQC)の効率的かつスケーラブルなプログラミングを容易にするQT-QFWP(Quantum-Train Quantum Fast Weight Programmer)フレームワークを提案する。 このアプローチは、量子と古典の両方のパラメータ管理を最適化することで、従来のハイブリッド量子古典モデルに対して大きな優位性をもたらす。 QT-QFWPは、関連モデルを効率性と予測精度の両方で上回り、より実用的で費用対効果の高い量子機械学習アプリケーションへの道筋を提供する。
  論文  参考訳（メタデータ） (2024-12-02T06:26:09Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• A Quantum-Classical Collaborative Training Architecture Based on Quantum State Fidelity [50.387179833629254]
  我々は,コ・テンク (co-TenQu) と呼ばれる古典量子アーキテクチャを導入する。 Co-TenQuは古典的なディープニューラルネットワークを41.72%まで向上させる。 他の量子ベースの手法よりも1.9倍も優れており、70.59%少ない量子ビットを使用しながら、同様の精度を達成している。
  論文  参考訳（メタデータ） (2024-02-23T14:09:41Z)
• Pre-training Tensor-Train Networks Facilitates Machine Learning with Variational Quantum Circuits [70.97518416003358]
  変分量子回路(VQC)は、ノイズの多い中間スケール量子(NISQ)デバイス上での量子機械学習を約束する。 テンソルトレインネットワーク(TTN)はVQC表現と一般化を向上させることができるが、結果として得られるハイブリッドモデルであるTTN-VQCは、Polyak-Lojasiewicz(PL)条件による最適化の課題に直面している。 この課題を軽減するために,プレトレーニングTTNモデルとVQCを組み合わせたPre+TTN-VQCを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:08:18Z)
• Synergy Between Quantum Circuits and Tensor Networks: Short-cutting the Race to Practical Quantum Advantage [43.3054117987806]
  本稿では,量子回路の初期化を最適化するために,古典計算資源を利用するスケーラブルな手法を提案する。 本手法は, PQCのトレーニング性, 性能を, 様々な問題において著しく向上させることを示す。 古典的コンピュータを用いて限られた量子資源を増強する手法を実証することにより、量子コンピューティングにおける量子と量子に着想を得たモデル間の相乗効果を実証する。
  論文  参考訳（メタデータ） (2022-08-29T15:24:03Z)
• Recent Advances for Quantum Neural Networks in Generative Learning [98.88205308106778]
  量子生成学習モデル(QGLM)は、古典的な学習モデルを上回る可能性がある。 機械学習の観点からQGLMの現状を概観する。 従来の機械学習タスクと量子物理学の両方におけるQGLMの潜在的な応用について論じる。
  論文  参考訳（メタデータ） (2022-06-07T07:32:57Z)
• Simulating the Mott transition on a noisy digital quantum computer via Cartan-based fast-forwarding circuits [62.73367618671969]
  動的平均場理論(DMFT)は、ハバードモデルの局所グリーン関数をアンダーソン不純物のモデルにマッピングする。 不純物モデルを効率的に解くために、量子およびハイブリッド量子古典アルゴリズムが提案されている。 この研究は、ノイズの多いデジタル量子ハードウェアを用いたMott相転移の最初の計算を提示する。
  論文  参考訳（メタデータ） (2021-12-10T17:32:15Z)
• Quantum algorithms for quantum dynamics: A performance study on the spin-boson model [68.8204255655161]
  量子力学シミュレーションのための量子アルゴリズムは、伝統的に時間進化作用素のトロッター近似の実装に基づいている。 変分量子アルゴリズムは欠かせない代替手段となり、現在のハードウェア上での小規模なシミュレーションを可能にしている。 量子ゲートコストが明らかに削減されているにもかかわらず、現在の実装における変分法は量子的優位性をもたらすことはありそうにない。
  論文  参考訳（メタデータ） (2021-08-09T18:00:05Z)
• Tensor Network Quantum Virtual Machine for Simulating Quantum Circuits at Exascale [57.84751206630535]
  本稿では,E-scale ACCelerator(XACC)フレームワークにおける量子回路シミュレーションバックエンドとして機能する量子仮想マシン(TNQVM)の近代化版を提案する。 新バージョンは汎用的でスケーラブルなネットワーク処理ライブラリであるExaTNをベースにしており、複数の量子回路シミュレータを提供している。 ポータブルなXACC量子プロセッサとスケーラブルなExaTNバックエンドを組み合わせることで、ラップトップから将来のエクサスケールプラットフォームにスケール可能なエンドツーエンドの仮想開発環境を導入します。
  論文  参考訳（メタデータ） (2021-04-21T13:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。