Fugu-MT 論文翻訳(概要): Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

論文の概要: Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

arxiv url: http://arxiv.org/abs/2403.14753v1
Date: Thu, 21 Mar 2024 18:00:04 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 19:26:17.417616
Title: Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention
Title（参考訳）: SASQuaTChによる学習:カーネルに基づく自己注意型変分量子トランスアーキテクチャ
Authors: Ethan N. Evans, Matthew Cook, Zachary P. Bradshaw, Margarite L. LaBorde,
Abstract要約: 量子回路は、カーネルベースの演算子学習の観点から、自己認識機構を効率的に表現できることを示す。本研究では、単純なゲート演算と多次元量子フーリエ変換を用いて、視覚トランスネットワークの深い層を表現することができる。我々は,SASTQuaCh(Self-Attention Sequential Quantum Transformer Channel)と呼ばれる新しい変分量子回路を解析し,単純化された分類問題に対するその有用性を実証する。
参考スコア（独自算出の注目度）: 0.464982780843177
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The widely popular transformer network popularized by the generative pre-trained transformer (GPT) has a large field of applicability, including predicting text and images, classification, and even predicting solutions to the dynamics of physical systems. In the latter context, the continuous analog of the self-attention mechanism at the heart of transformer networks has been applied to learning the solutions of partial differential equations and reveals a convolution kernel nature that can be exploited by the Fourier transform. It is well known that many quantum algorithms that have provably demonstrated a speedup over classical algorithms utilize the quantum Fourier transform. In this work, we explore quantum circuits that can efficiently express a self-attention mechanism through the perspective of kernel-based operator learning. In this perspective, we are able to represent deep layers of a vision transformer network using simple gate operations and a set of multi-dimensional quantum Fourier transforms. We analyze the computational and parameter complexity of our novel variational quantum circuit, which we call Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh), and demonstrate its utility on simplified classification problems.
Abstract（参考訳）: GPT(Generative Pre-trained Transformer)によって普及した広く普及しているトランスフォーマーネットワークは、テキストや画像の予測、分類、物理システムのダイナミクスに対するソリューションの予測など、適用範囲が広い。後者の文脈では、変圧器ネットワークの中心における自己注意機構の連続的なアナログが偏微分方程式の解の学習に応用され、フーリエ変換によって活用できる畳み込み核の性質が明らかにされている。古典的アルゴリズムの高速化を実証した多くの量子アルゴリズムが量子フーリエ変換を利用していることはよく知られている。本研究では,カーネルベースの演算子学習の観点から,自己認識機構を効率的に表現できる量子回路について検討する。この観点から、単純なゲート演算と多次元量子フーリエ変換を用いて、視覚トランスネットワークの深い層を表現することができる。本稿では,SASQuaTCh(Self-Attention Sequential Quantum Transformer Channel)と呼ばれる新しい変分量子回路の計算とパラメータの複雑さを解析し,単純化された分類問題に対するその有用性を実証する。

関連論文リスト

UDiTQC: U-Net-Style Diffusion Transformer for Quantum Circuit Synthesis [13.380226276791818]
現在の拡散モデルは、U-Netアーキテクチャに基づくアプローチであるが、計算効率とグローバルコンテキストのモデル化に関する課題に遭遇する。マルチスケール特徴抽出におけるU-Netの強みとグローバルコンテキストをモデル化するTransformerの機能を組み合わせた,新しいU-Netスタイルの拡散変換アーキテクチャであるUDiTを提案する。
論文参考訳（メタデータ） (2025-01-24T15:15:50Z)
Quantum Convolutional Neural Network with Flexible Stride [7.362858964229726]
本稿では,新しい量子畳み込みニューラルネットワークアルゴリズムを提案する。異なるタスクに対応するために、柔軟にストライドを調整できます。データスケールの指数加速度を、従来のものに比べて少ないメモリで達成することができる。
論文参考訳（メタデータ） (2024-12-01T02:37:06Z)
PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
論文参考訳（メタデータ） (2024-08-20T01:56:07Z)
Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2024-02-02T23:05:30Z)
Transformer variational wave functions for frustrated quantum spin systems [0.0]
本稿では,ニューラルネットワーク状態の新たなクラスを定義するために,複雑なパラメータを持つViTアーキテクチャの適応を提案する。 ViT波動関数の成功は、局所演算と大域演算の混合に依存する。
論文参考訳（メタデータ） (2022-11-10T11:56:44Z)
Vision Transformer with Convolutions Architecture Search [72.70461709267497]
本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
論文参考訳（メタデータ） (2022-03-20T02:59:51Z)
CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文参考訳（メタデータ） (2021-12-31T04:37:11Z)
Visual Saliency Transformer [127.33678448761599]
RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
論文参考訳（メタデータ） (2021-04-25T08:24:06Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
Generation of High-Resolution Handwritten Digits with an Ion-Trap Quantum Computer [55.41644538483948]
本稿では, 量子回路に基づく生成モデルを構築し, 生成逆数ネットワークの事前分布を学習し, サンプル化する。我々は、このハイブリッドアルゴリズムを171ドルのYb$+$ ion qubitsに基づいてイオントラップデバイスでトレーニングし、高品質な画像を生成する。
論文参考訳（メタデータ） (2020-12-07T18:51:28Z)
Recurrent Quantum Neural Networks [7.6146285961466]
リカレントニューラルネットワークは、機械学習における多くのシーケンス対シーケンスモデルの基盤となっている。非自明なタスクに対して実証可能な性能を持つ量子リカレントニューラルネットワーク(QRNN)を構築する。我々はQRNNをMNIST分類で評価し、QRNNに各画像ピクセルを供給し、また、最新のデータ拡張を前処理のステップとして利用する。
論文参考訳（メタデータ） (2020-06-25T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。