論文の概要: Quantum Transformer: Accelerating model inference via quantum linear algebra

• arxiv url: http://arxiv.org/abs/2402.16714v3
• Date: Wed, 29 Oct 2025 14:48:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:42.585065
• Title: Quantum Transformer: Accelerating model inference via quantum linear algebra
• Title（参考訳）: 量子変換器:量子線形代数による加速モデル推論
• Authors: Naixu Guo, Zhan Yu, Matthew Choi, Yizhan Han, Aman Agrawal, Kouhei Nakaji, Alán Aspuru-Guzik, Patrick Rebentrost,
• Abstract要約: 我々は変圧器の構成要素を構築するために量子サブルーチンを開発した。 本稿では,量子コンピュータ上でHadamard製品を効率的に実装する方法を示す。 入力列の行列ノルムは、量子複雑性において支配的な役割を果たす。
• 参考スコア（独自算出の注目度）: 8.777641765295398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Powerful generative artificial intelligence from large language models (LLMs) harnesses extensive computational resources for inference. In this work, we investigate the transformer architecture, a key component of these models, under the lens of fault-tolerant quantum computing. We develop quantum subroutines to construct the building blocks in the transformer, including the self-attention, residual connection with layer normalization, and feed-forward network. As an important subroutine, we show how to efficiently implement the Hadamard product and element-wise functions of matrices on quantum computers. Our algorithm prepares an amplitude encoding of the transformer output, which can be measured for prediction or use in the next layer. We find that the matrix norm of the input sequence plays a dominant role in the quantum complexity. With numerical experiments on open-source LLMs, including for bio-informatics applications, we demonstrate the potential of a quantum speedup for transformer inference in practical regimes.
• Abstract（参考訳）: 大規模言語モデル(LLM)からの強力な生成人工知能は、推論に広範な計算資源を利用する。 本研究では,これらのモデルの主要な構成要素であるトランスフォーマーアーキテクチャを,フォールトトレラント量子コンピューティングのレンズの下で検討する。 我々は, 自己アテンション, 層正規化による残差接続, フィードフォワードネットワークを含む, 変圧器のビルディングブロックを構築するために, 量子サブルーチンを開発した。 重要なサブルーチンとして、量子コンピュータ上の行列のアダマール積と要素ワイド関数を効率的に実装する方法を示す。 提案アルゴリズムは, トランス出力の振幅エンコーディングを作成し, 次の層での予測や使用を計測する。 入力列の行列ノルムは、量子複雑性において支配的な役割を果たす。 バイオインフォマティクスの応用を含むオープンソースのLCMに関する数値実験により、実用的な状況下での変圧器推論のための量子スピードアップの可能性を示す。

関連論文リスト

• HQViT: Hybrid Quantum Vision Transformer for Image Classification [48.72766405978677]
  本稿では,モデル性能を向上しつつ,モデルトレーニングを高速化するHybrid Quantum Vision Transformer(HQViT)を提案する。 HQViTは振幅エンコーディングによる全画像処理を導入し、位置エンコーディングを追加せずにグローバルな画像情報をよりよく保存する。 様々なコンピュータビジョンデータセットの実験により、HQViTは既存のモデルよりも優れており、最大10.9%(MNIST 10-classification task)の改善を実現している。
  論文  参考訳（メタデータ） (2025-04-03T16:13:34Z)
• A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation [0.0]
  本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
  論文  参考訳（メタデータ） (2025-02-26T15:15:01Z)
• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
  我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-13T16:42:06Z)
• Quixer: A Quantum Transformer Model [3.140679149492808]
  量子トランスモデルQuixerについて紹介する。 Quixerはトークンの重ね合わせを作成し、この混合にトレーニング可能な非線形変換を適用することで機能する。 パラメータ化された成分を固定構造に置換して量子変換器の新たなクラスを生成できることが示される。
  論文  参考訳（メタデータ） (2024-06-06T17:52:05Z)
• Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention [0.464982780843177]
  量子回路は、カーネルベースの演算子学習の観点から、自己認識機構を効率的に表現できることを示す。 本研究では、単純なゲート演算と多次元量子フーリエ変換を用いて、視覚トランスネットワークの深い層を表現することができる。 我々は,SASTQuaCh(Self-Attention Sequential Quantum Transformer Channel)と呼ばれる新しい変分量子回路を解析し,単純化された分類問題に対するその有用性を実証する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:04Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Ground state preparation and energy estimation on early fault-tolerant quantum computers via quantum eigenvalue transformation of unitary matrices [3.1952399274829775]
  我々は、実数(QET-U)を用いたユニタリ行列の量子固有値変換というツールを開発する。 これにより、基底状態エネルギーを推定するための回路構造に匹敵する、全ての前のアルゴリズムより優れた単純な量子アルゴリズムが導かれる。 横フィールドイジングモデルに対するIBM Qiskitを用いたアルゴリズムの性能を示す。
  論文  参考訳（メタデータ） (2022-04-12T17:11:40Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。