論文の概要: Quantum-Inspired Self-Attention in a Large Language Model

• arxiv url: http://arxiv.org/abs/2603.03318v1
• Date: Mon, 09 Feb 2026 18:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.146581
• Title: Quantum-Inspired Self-Attention in a Large Language Model
• Title（参考訳）: 大規模言語モデルにおける量子インスピレーションによる自己認識
• Authors: Nikita Kuznetsov, Niyaz Ismagilov, Ernesto Campos,
• Abstract要約: 本稿では,古典的量子インスパイアされた自己意図(QISA)機構を提案し,これをGPT-1の完全自己回帰言語モデリングパイプラインに統合する。 実験では、QISAは指標文字誤り率と単語誤り率の標準自己注意と比較すると、性能が向上する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Natural Language Processing have been predominantly driven by transformer-based architectures, which rely heavily on self-attention mechanisms to model relationships between tokens in a sequence. Similarly, the field of Quantum Natural Language Processing, which seeks to leverage quantum principles to address challenges in language understanding and generation tasks, has seen the recent development of quantum self-attention mechanisms. We propose a classical quantum-inspired self-attention (QISA) mechanism and integrate it into the full autoregressive language modeling pipeline of GPT-1. To the best of our knowledge, this is the first integration of this kind, as previous quantum self-attention mechanisms have been primarily tested on text classification. In our experiments, QISA achieves better performance when compared to standard self-attention on the metrics character error rate ($15.5\times$ better), word error rate ($4.7 \times $) and cross-entropy loss ($13 \times$). This is achieved while only requiring a $ 2.6\times$ longer inference time.
• Abstract（参考訳）: 自然言語処理の最近の進歩は、シークエンス内のトークン間の関係をモデル化する自己認識機構に大きく依存するトランスフォーマーベースのアーキテクチャによって主に推進されている。 同様に、量子自然言語処理(Quantum Natural Language Processing)の分野は、言語理解と生成タスクの課題に対処するために量子原理を活用しようとしている。 本稿では,古典的量子インスパイアされた自己意図(QISA)機構を提案し,これをGPT-1の完全自己回帰言語モデリングパイプラインに統合する。 私たちの知る限りでは、従来の量子自己認識機構が主にテキスト分類でテストされているため、この種の統合はこれが初めてである。 我々の実験では、QISAは、指標文字誤り率($15.5\times$)、単語エラー率($4.7 \times$)、クロスエントロピー損失($13 \times$)の標準自己アテンションと比較すると、パフォーマンスが向上する。 これは、$2.6\times$長推論時間しか必要とせず達成される。

関連論文リスト

• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• QAMA: Scalable Quantum Annealing Multi-Head Attention Operator for Deep Learning [48.12231190677108]
  QAMA(Quantum Annealing Multi-Head Attention)は、エネルギーベースのハミルトン最適化問題として注目を集める新しいドロップイン演算子である。 この枠組みでは、トークン相互作用を二項二項項に符号化し、低エネルギー構成の探索に量子アニールを用いる。 経験的に、自然言語と視覚のベンチマークによる評価は、タスク全体にわたって、標準的なマルチヘッドの注意から少なくとも2.7ポイントの精度が低下していることを示している。
  論文  参考訳（メタデータ） (2025-04-15T11:29:09Z)
• A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation [0.0]
  本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
  論文  参考訳（メタデータ） (2025-02-26T15:15:01Z)
• Quantum-Enhanced Attention Mechanism in NLP: A Hybrid Classical-Quantum Approach [0.0]
  本稿では,量子化されたアテンション機構を標準の古典的アーキテクチャに組み込んだ,古典量子変換器のハイブリッドモデルを提案する。 様々なNLPベンチマークにおいて,このアプローチの有効性を実証し,効率と表現能力の両面で改善したことを示す。
  論文  参考訳（メタデータ） (2025-01-26T18:29:06Z)
• QCircuitBench: A Large-Scale Dataset for Benchmarking Quantum Algorithm Design [63.02824918725805]
  量子コンピューティングは、量子アルゴリズムによる古典的コンピューティングよりも大幅にスピードアップされていることが認識されている。 QCircuitBenchは、量子アルゴリズムの設計と実装におけるAIの能力を評価するために設計された最初のベンチマークデータセットである。
  論文  参考訳（メタデータ） (2024-10-10T14:24:30Z)
• Quantum Mixed-State Self-Attention Network [3.1280831148667105]
  本稿では,自然言語処理タスクのためのQMSAN(Quantum Mixed-State Self-Attention Network)を提案する。 QMSANは混合状態に基づく量子アテンション機構を使用し、量子領域内のクエリとキー間の直接的な類似度推定を可能にする。 また、回路内の固定量子ゲートを介して実装された革新的な量子位置符号化方式を提案し、追加の量子ビットリソースを使わずにシーケンス情報をキャプチャする能力を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T11:29:05Z)
• Recent Advances for Quantum Neural Networks in Generative Learning [98.88205308106778]
  量子生成学習モデル(QGLM)は、古典的な学習モデルを上回る可能性がある。 機械学習の観点からQGLMの現状を概観する。 従来の機械学習タスクと量子物理学の両方におけるQGLMの潜在的な応用について論じる。
  論文  参考訳（メタデータ） (2022-06-07T07:32:57Z)
• Realization of arbitrary doubly-controlled quantum phase gates [62.997667081978825]
  本稿では,最適化問題における短期量子優位性の提案に着想を得た高忠実度ゲートセットを提案する。 3つのトランペット四重項のコヒーレントな多レベル制御を編成することにより、自然な3量子ビット計算ベースで作用する決定論的連続角量子位相ゲートの族を合成する。
  論文  参考訳（メタデータ） (2021-08-03T17:49:09Z)
• Quantum-optimal-control-inspired ansatz for variational quantum algorithms [105.54048699217668]
  変分量子アルゴリズム (VQA) の中心成分は状態準備回路(英語版)であり、アンザッツ(英語版)または変分形式(英語版)とも呼ばれる。 ここでは、対称性を破るユニタリを組み込んだ「解」を導入することで、このアプローチが必ずしも有利であるとは限らないことを示す。 この研究は、より一般的な対称性を破るアンスの開発に向けた第一歩となり、物理学や化学問題への応用に繋がる。
  論文  参考訳（メタデータ） (2020-08-03T18:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。