論文の概要: Quantum Transformer: Accelerating model inference via quantum linear algebra

• arxiv url: http://arxiv.org/abs/2402.16714v3
• Date: Wed, 29 Oct 2025 14:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:42.585065
• Title: Quantum Transformer: Accelerating model inference via quantum linear algebra
• Title（参考訳）: 量子変換器:量子線形代数による加速モデル推論
• Authors: Naixu Guo, Zhan Yu, Matthew Choi, Yizhan Han, Aman Agrawal, Kouhei Nakaji, Alán Aspuru-Guzik, Patrick Rebentrost,
• Abstract要約: 我々は変圧器の構成要素を構築するために量子サブルーチンを開発した。 本稿では,量子コンピュータ上でHadamard製品を効率的に実装する方法を示す。 入力列の行列ノルムは、量子複雑性において支配的な役割を果たす。
• 参考スコア（独自算出の注目度）: 8.777641765295398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Powerful generative artificial intelligence from large language models (LLMs) harnesses extensive computational resources for inference. In this work, we investigate the transformer architecture, a key component of these models, under the lens of fault-tolerant quantum computing. We develop quantum subroutines to construct the building blocks in the transformer, including the self-attention, residual connection with layer normalization, and feed-forward network. As an important subroutine, we show how to efficiently implement the Hadamard product and element-wise functions of matrices on quantum computers. Our algorithm prepares an amplitude encoding of the transformer output, which can be measured for prediction or use in the next layer. We find that the matrix norm of the input sequence plays a dominant role in the quantum complexity. With numerical experiments on open-source LLMs, including for bio-informatics applications, we demonstrate the potential of a quantum speedup for transformer inference in practical regimes.
• Abstract（参考訳）: 大規模言語モデル(LLM)からの強力な生成人工知能は、推論に広範な計算資源を利用する。 本研究では,これらのモデルの主要な構成要素であるトランスフォーマーアーキテクチャを,フォールトトレラント量子コンピューティングのレンズの下で検討する。 我々は, 自己アテンション, 層正規化による残差接続, フィードフォワードネットワークを含む, 変圧器のビルディングブロックを構築するために, 量子サブルーチンを開発した。 重要なサブルーチンとして、量子コンピュータ上の行列のアダマール積と要素ワイド関数を効率的に実装する方法を示す。 提案アルゴリズムは, トランス出力の振幅エンコーディングを作成し, 次の層での予測や使用を計測する。 入力列の行列ノルムは、量子複雑性において支配的な役割を果たす。 バイオインフォマティクスの応用を含むオープンソースのLCMに関する数値実験により、実用的な状況下での変圧器推論のための量子スピードアップの可能性を示す。

関連論文リスト

• Vectorized Attention with Learnable Encoding for Quantum Transformer [0.6766416093990318]
  本稿では,理想のマスキング行列計算をサポートするVQT(Vectorized Quantum Transformer)を提案する。 我々のノイズ中間スケール量子フレンドリなVQTアプローチは、量子コンピューティングにおけるエンドツーエンド機械学習の新しいアーキテクチャを解き放ちます。
  論文  参考訳（メタデータ） (2025-08-25T20:33:14Z)
• Quantum-Efficient Convolution through Sparse Matrix Encoding and Low-Depth Inner Product Circuits [0.0]
  本稿では、畳み込み積を構造化行列乗算として再構成する資源効率の量子アルゴリズムを提案する。 我々は、最適化されたキー値QRAM状態符号化を用いてスパース入力パッチを作成する量子フレームワークを構築する。 我々のアーキテクチャは、一般化されたSWAP回路を用いて、複数のフィルタにまたがるバッチ畳み込みをサポートする。
  論文  参考訳（メタデータ） (2025-07-25T20:08:12Z)
• A Survey of Quantum Transformers: Architectures, Challenges and Outlooks [82.4736481748099]
  量子変換器は古典変換器の表現力と量子コンピューティングの計算上の利点を統合する。 2022年以降、この地域の研究は急速に拡大し、様々な技術パラダイムや初期の応用がもたらされた。 本稿では,量子トランスモデルの包括的,体系的,詳細な調査を行う。
  論文  参考訳（メタデータ） (2025-04-04T05:40:18Z)
• HQViT: Hybrid Quantum Vision Transformer for Image Classification [48.72766405978677]
  本稿では,モデル性能を向上しつつ,モデルトレーニングを高速化するHybrid Quantum Vision Transformer(HQViT)を提案する。 HQViTは振幅エンコーディングによる全画像処理を導入し、位置エンコーディングを追加せずにグローバルな画像情報をよりよく保存する。 様々なコンピュータビジョンデータセットの実験により、HQViTは既存のモデルよりも優れており、最大10.9%(MNIST 10-classification task)の改善を実現している。
  論文  参考訳（メタデータ） (2025-04-03T16:13:34Z)
• A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation [0.0]
  本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
  論文  参考訳（メタデータ） (2025-02-26T15:15:01Z)
• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [62.46800898243033]
  量子学習理論の最近の進歩は、様々な古典的な入力によって生成された測定データから、大きな量子ビット回路の線形特性を効率的に学習できるのか? 我々は、小さな予測誤差を達成するためには、$d$で線形にスケーリングするサンプルの複雑さが必要であることを証明し、それに対応する計算複雑性は、dで指数関数的にスケールする可能性がある。 そこで本研究では,古典的影と三角展開を利用したカーネルベースの手法を提案し,予測精度と計算オーバーヘッドとのトレードオフを制御可能とした。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• Universal Matrix Multiplication on Quantum Computer [12.14644252552695]
  行列乗法はパターン認識と機械学習において重要な役割を果たす。 本稿では、普遍的量子行列乗法に対する革新的で実践的なアプローチを紹介する。 基本普遍的量子行列乗法を構築し,それをストラッセンアルゴリズムに拡張する。
  論文  参考訳（メタデータ） (2024-08-06T10:25:02Z)
• Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
  我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-13T16:42:06Z)
• Quixer: A Quantum Transformer Model [3.140679149492808]
  量子トランスモデルQuixerについて紹介する。 Quixerはトークンの重ね合わせを作成し、この混合にトレーニング可能な非線形変換を適用することで機能する。 パラメータ化された成分を固定構造に置換して量子変換器の新たなクラスを生成できることが示される。
  論文  参考訳（メタデータ） (2024-06-06T17:52:05Z)
• Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention [0.464982780843177]
  量子回路は、カーネルベースの演算子学習の観点から、自己認識機構を効率的に表現できることを示す。 本研究では、単純なゲート演算と多次元量子フーリエ変換を用いて、視覚トランスネットワークの深い層を表現することができる。 我々は,SASTQuaCh(Self-Attention Sequential Quantum Transformer Channel)と呼ばれる新しい変分量子回路を解析し,単純化された分類問題に対するその有用性を実証する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:04Z)
• GPT on a Quantum Computer [0.0]
  大規模言語モデル(LLM)は、私たちが人工知能(AI)の能力と相互作用し理解する方法を変えました。 本稿では、量子コンピューティングパラダイムにおいて、ChatGPTと統合された基礎的なトランスフォーマーアーキテクチャを実装するためのフレームワークの概要を述べる。 量子機械学習(QML)の研究のための新たな道を開き、AI技術の継続的な進化に貢献したいと思っています。
  論文  参考訳（メタデータ） (2024-03-14T14:07:31Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Quantum circuit synthesis with diffusion models [0.6554326244334868]
  我々は、この変換を促進するために、生成機械学習モデル、特に拡散モデル(DM)をデノナイズする。 我々は、ゲートベースの量子回路内で所望の量子演算を生成するために、このモデルを操縦する。 我々は、DMを量子回路合成の重要な要素として想定し、実用的な応用だけでなく、理論的量子計算に関する洞察も強化する。
  論文  参考訳（メタデータ） (2023-11-03T17:17:08Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Ground state preparation and energy estimation on early fault-tolerant quantum computers via quantum eigenvalue transformation of unitary matrices [3.1952399274829775]
  我々は、実数(QET-U)を用いたユニタリ行列の量子固有値変換というツールを開発する。 これにより、基底状態エネルギーを推定するための回路構造に匹敵する、全ての前のアルゴリズムより優れた単純な量子アルゴリズムが導かれる。 横フィールドイジングモデルに対するIBM Qiskitを用いたアルゴリズムの性能を示す。
  論文  参考訳（メタデータ） (2022-04-12T17:11:40Z)
• A quantum processor based on coherent transport of entangled atom arrays [44.62475518267084]
  量子プロセッサは動的で非局所的な接続を持ち、絡み合った量子ビットは高い並列性でコヒーレントに輸送されることを示す。 このアーキテクチャを用いて,クラスタ状態や7キュービットのSteane符号状態などの絡み合ったグラフ状態のプログラム生成を実現する。
  論文  参考訳（メタデータ） (2021-12-07T19:00:00Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Quantum-tailored machine-learning characterization of a superconducting qubit [50.591267188664666]
  我々は,量子デバイスのダイナミクスを特徴付ける手法を開発し,デバイスパラメータを学習する。 このアプローチは、数値的に生成された実験データに基づいてトレーニングされた物理に依存しないリカレントニューラルネットワークより優れている。 このデモンストレーションは、ドメイン知識を活用することで、この特徴付けタスクの正確性と効率が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-24T15:58:57Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Tensor Network Quantum Virtual Machine for Simulating Quantum Circuits at Exascale [57.84751206630535]
  本稿では,E-scale ACCelerator(XACC)フレームワークにおける量子回路シミュレーションバックエンドとして機能する量子仮想マシン(TNQVM)の近代化版を提案する。 新バージョンは汎用的でスケーラブルなネットワーク処理ライブラリであるExaTNをベースにしており、複数の量子回路シミュレータを提供している。 ポータブルなXACC量子プロセッサとスケーラブルなExaTNバックエンドを組み合わせることで、ラップトップから将来のエクサスケールプラットフォームにスケール可能なエンドツーエンドの仮想開発環境を導入します。
  論文  参考訳（メタデータ） (2021-04-21T13:26:42Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning [84.33745072274942]
  線形および非線形の層をユニタリ量子ゲートとして表現する方法を示し、量子モデルの基本的な励起を粒子として解釈する。 ニューラルネットワークの研究のための新しい視点と技術を開くことに加えて、量子定式化は光量子コンピューティングに適している。
  論文  参考訳（メタデータ） (2021-03-08T17:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。