論文の概要: Quantum linear algebra is all you need for Transformer architectures

• arxiv url: http://arxiv.org/abs/2402.16714v2
• Date: Fri, 31 May 2024 03:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 19:52:35.269610
• Title: Quantum linear algebra is all you need for Transformer architectures
• Title（参考訳）: 量子線形代数はトランスフォーマーアーキテクチャに必要なもの
• Authors: Naixu Guo, Zhan Yu, Matthew Choi, Aman Agrawal, Kouhei Nakaji, Alán Aspuru-Guzik, Patrick Rebentrost,
• Abstract要約: フォールトトレラント量子コンピューティングのレンズ下でのトランスフォーマーアーキテクチャについて検討する。 我々は,ソフトマックス関数の行ワイド適用のための新しいサブルーチンを用いて,自己アテンション行列のブロック符号化の仕方を示す。 我々のサブルーチンは変換器出力の振幅エンコーディングを作成し、予測値を得るために測定することができる。
• 参考スコア（独自算出の注目度）: 1.660288273261283
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative machine learning methods such as large-language models are revolutionizing the creation of text and images. While these models are powerful they also harness a large amount of computational resources. The transformer is a key component in large language models that aims to generate a suitable completion of a given partial sequence. In this work, we investigate transformer architectures under the lens of fault-tolerant quantum computing. The input model is one where trained weight matrices are given as block encodings and we construct the query, key, and value matrices for the transformer. We show how to prepare a block encoding of the self-attention matrix, with a new subroutine for the row-wise application of the softmax function. In addition, we combine quantum subroutines to construct important building blocks in the transformer, the residual connection and layer normalization, and the feed-forward neural network. Our subroutines prepare an amplitude encoding of the transformer output, which can be measured to obtain a prediction. Based on common open-source large-language models, we provide insights into the behavior of important parameters determining the run time of the quantum algorithm. We discuss the potential and challenges for obtaining a quantum advantage.
• Abstract（参考訳）: 大規模言語モデルのような生成機械学習手法は、テキストや画像の作成に革命をもたらしている。 これらのモデルは強力だが、大量の計算資源も活用している。 変換器は、与えられた部分シーケンスの適切な完了を生成することを目的とした、大きな言語モデルのキーコンポーネントである。 本研究では,フォールトトレラント量子コンピューティングのレンズ下でのトランスフォーマーアーキテクチャについて検討する。 入力モデルは、訓練された重み行列をブロック符号化として与え、変換器のクエリ、キー、値行列を構成する。 我々は,ソフトマックス関数の行ワイド適用のための新しいサブルーチンを用いて,自己アテンション行列のブロック符号化の仕方を示す。 さらに、量子サブルーチンを組み合わせることで、トランス、残差接続、層正規化、フィードフォワードニューラルネットワークの重要なビルディングブロックを構築する。 我々のサブルーチンは変換器出力の振幅エンコーディングを作成し、予測値を得るために測定することができる。 一般的なオープンソースの大言語モデルに基づいて、量子アルゴリズムの実行時間を決定する重要なパラメータの挙動に関する洞察を提供する。 量子優位性を得るための可能性と課題について論じる。

関連論文リスト

• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
  我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-13T16:42:06Z)
• Quixer: A Quantum Transformer Model [3.140679149492808]
  量子トランスモデルQuixerについて紹介する。 Quixerはトークンの重ね合わせを作成し、この混合にトレーニング可能な非線形変換を適用することで機能する。 パラメータ化された成分を固定構造に置換して量子変換器の新たなクラスを生成できることが示される。
  論文  参考訳（メタデータ） (2024-06-06T17:52:05Z)
• Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention [0.464982780843177]
  量子回路は、カーネルベースの演算子学習の観点から、自己認識機構を効率的に表現できることを示す。 本研究では、単純なゲート演算と多次元量子フーリエ変換を用いて、視覚トランスネットワークの深い層を表現することができる。 我々は,SASTQuaCh(Self-Attention Sequential Quantum Transformer Channel)と呼ばれる新しい変分量子回路を解析し,単純化された分類問題に対するその有用性を実証する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:04Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Ground state preparation and energy estimation on early fault-tolerant quantum computers via quantum eigenvalue transformation of unitary matrices [3.1952399274829775]
  我々は、実数(QET-U)を用いたユニタリ行列の量子固有値変換というツールを開発する。 これにより、基底状態エネルギーを推定するための回路構造に匹敵する、全ての前のアルゴリズムより優れた単純な量子アルゴリズムが導かれる。 横フィールドイジングモデルに対するIBM Qiskitを用いたアルゴリズムの性能を示す。
  論文  参考訳（メタデータ） (2022-04-12T17:11:40Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。