論文の概要: Quantum linear algebra is all you need for Transformer architectures
- arxiv url: http://arxiv.org/abs/2402.16714v1
- Date: Mon, 26 Feb 2024 16:31:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:58:41.300998
- Title: Quantum linear algebra is all you need for Transformer architectures
- Title(参考訳): 量子線形代数はトランスフォーマーアーキテクチャに必要な全てである
- Authors: Naixu Guo, Zhan Yu, Aman Agrawal, and Patrick Rebentrost
- Abstract要約: フォールトトレラント量子コンピューティングのレンズ下でのトランスフォーマーアーキテクチャについて検討する。
本稿では,ソフトマックス関数の行ワイド適用による自己アテンション行列のブロック符号化法を示す。
我々のサブルーチンは変換器出力の振幅エンコーディングを作成し、予測値を得るために測定することができる。
- 参考スコア(独自算出の注目度): 0.9374652839580183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative machine learning methods such as large-language models are
revolutionizing the creation of text and images. While these models are
powerful they also harness a large amount of computational resources. The
transformer is a key component in large language models that aims to generate a
suitable completion of a given partial sequence. In this work, we investigate
transformer architectures under the lens of fault-tolerant quantum computing.
The input model is one where pre-trained weight matrices are given as block
encodings to construct the query, key, and value matrices for the transformer.
As a first step, we show how to prepare a block encoding of the self-attention
matrix, with a row-wise application of the softmax function using the Hadamard
product. In addition, we combine quantum subroutines to construct important
building blocks in the transformer, the residual connection, layer
normalization, and the feed-forward neural network. Our subroutines prepare an
amplitude encoding of the transformer output, which can be measured to obtain a
prediction. We discuss the potential and challenges for obtaining a quantum
advantage.
- Abstract(参考訳): 大言語モデルのような生成的機械学習手法は、テキストや画像の生成に革命をもたらしている。
これらのモデルは強力ですが、大量の計算リソースも活用します。
変換器は、与えられた部分シーケンスの適切な完了を生成することを目的とした、大きな言語モデルのキーコンポーネントである。
本研究では,フォールトトレラント量子コンピューティングのレンズ下でトランスフォーマーアーキテクチャを調べる。
入力モデルは、事前学習された重み行列をブロックエンコーディングとして与えて、トランスのクエリ、キー、値行列を構成するものである。
最初のステップとして、アダマール積を用いたソフトマックス関数の行ワイズ適用により、自己注意行列のブロック符号化を作成する方法を示す。
さらに,量子サブルーチンを組み合わせることで,トランス,残差接続,層正規化,フィードフォワードニューラルネットワークの重要な構成要素を構築する。
我々のサブルーチンは、予測を得るために測定可能なトランス出力の振幅符号化を作成する。
量子アドバンテージを得るための可能性と課題について論じる。
関連論文リスト
- On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。
我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文 参考訳(メタデータ) (2023-11-02T20:03:05Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳(メタデータ) (2023-06-01T20:27:01Z) - An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。
本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文 参考訳(メタデータ) (2023-04-20T14:54:19Z) - Formal Algorithms for Transformers [31.39583890463588]
この文書は、トランスフォーマーアーキテクチャとアルゴリズムの自己完結型、数学的に正確に概観することを目的としている。
トランスフォーマーとは何か、どのようにトレーニングされているのか、何に使われているのか、重要なアーキテクチャと最も顕著なモデルのプレビューをカバーしています。
論文 参考訳(メタデータ) (2022-07-19T12:49:02Z) - The Parallelism Tradeoff: Limitations of Log-Precision Transformers [29.716269397142973]
入力トークン数における算術精度が対数的である変換器は、定数深さの対数空間一様しきい値回路でシミュレートできることを示す。
これは、複雑性理論の既知の結果を用いた変圧器のパワーに関する洞察を与える。
論文 参考訳(メタデータ) (2022-07-02T03:49:34Z) - Fourier-based quantum signal processing [0.0]
作用素の一般関数を実装することは、量子計算において強力なツールである。
量子信号処理はこの目的の最先端技術である。
ユニタリ進化によって与えられるオラクルからHermitian-operator関数を設計するためのアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-06T18:02:30Z) - Ground state preparation and energy estimation on early fault-tolerant
quantum computers via quantum eigenvalue transformation of unitary matrices [3.1952399274829775]
我々は、実数(QET-U)を用いたユニタリ行列の量子固有値変換というツールを開発する。
これにより、基底状態エネルギーを推定するための回路構造に匹敵する、全ての前のアルゴリズムより優れた単純な量子アルゴリズムが導かれる。
横フィールドイジングモデルに対するIBM Qiskitを用いたアルゴリズムの性能を示す。
論文 参考訳(メタデータ) (2022-04-12T17:11:40Z) - Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。
我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。
本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
論文 参考訳(メタデータ) (2021-08-31T19:39:55Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳(メタデータ) (2021-06-13T13:04:46Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z) - Segatron: Segment-Aware Transformer for Language Modeling and
Understanding [79.84562707201323]
本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。
本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。
WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
論文 参考訳(メタデータ) (2020-04-30T17:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。