論文の概要: Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

• arxiv url: http://arxiv.org/abs/2403.14753v2
• Date: Wed, 05 Feb 2025 16:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:25:11.870485
• Title: Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention
• Title（参考訳）: SASQuaTChによる学習:カーネルに基づく自己注意型変分量子トランスアーキテクチャ
• Authors: Ethan N. Evans, Matthew Cook, Zachary P. Bradshaw, Margarite L. LaBorde,
• Abstract要約: 本稿では、SASQuaT(Self-Attention Sequential Quantum Transformer Channel)という変分量子回路アーキテクチャを提案する。 提案手法は、単純なゲート演算と多次元量子フーリエ変換を用いたビジョントランスフォーマーネットワークの予測におけるカーネルベース演算子学習の最近の知見を活用する。 提案手法の有効性を検証するため,9量子ビットと少数のパラメータしか持たず,手書き桁のグレースケール画像を高い精度で同時に埋め込み,分類することが可能な画像分類タスクをシミュレーションおよびハードウェアで検討した。
• 参考スコア（独自算出の注目度）: 0.464982780843177
• License:
• Abstract: The recent exploding growth in size of state-of-the-art machine learning models highlights a well-known issue where exponential parameter growth, which has grown to trillions as in the case of the Generative Pre-trained Transformer (GPT), leads to training time and memory requirements which limit their advancement in the near term. The predominant models use the so-called transformer network and have a large field of applicability, including predicting text and images, classification, and even predicting solutions to the dynamics of physical systems. Here we present a variational quantum circuit architecture named Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh), which builds networks of qubits that perform analogous operations of the transformer network, namely the keystone self-attention operation, and leads to an exponential improvement in parameter complexity and run-time complexity over its classical counterpart. Our approach leverages recent insights from kernel-based operator learning in the context of predicting spatiotemporal systems to represent deep layers of a vision transformer network using simple gate operations and a set of multi-dimensional quantum Fourier transforms. To validate our approach, we consider image classification tasks in simulation and with hardware, where with only 9 qubits and a handful of parameters we are able to simultaneously embed and classify a grayscale image of handwritten digits with high accuracy.
• Abstract（参考訳）: 最近の最先端機械学習モデルの大きさの爆発的な成長は、指数パラメータの増大が、GPT(Generative Pre-trained Transformer)のように数兆に成長したことで、短期的に進行を制限するトレーニング時間とメモリ要件に繋がる、よく知られた問題を強調している。 主流のモデルは、いわゆるトランスフォーマーネットワークを使用し、テキストや画像の予測、分類、物理システムのダイナミックスに対するソリューションの予測など、幅広い適用性を持つ。 ここでは,変圧器ネットワークの類似的な操作,すなわちキーストーンの自己アテンション動作を行うキュービットのネットワークを構築し,パラメータの複雑性と実行時の複雑性を古典的よりも指数関数的に向上させる,自己アテンション連続量子トランスフォーマーチャネル(SASQuaTCh)という変分量子回路アーキテクチャを提案する。 提案手法は,多次元量子フーリエ変換の集合とゲート演算を用いた視覚変換器ネットワークの深層を表現するために,時空間系予測の文脈におけるカーネルベース演算子学習の最近の知見を利用する。 提案手法の有効性を検証するため,9量子ビットと少数のパラメータしか持たず,手書き桁のグレースケール画像を高い精度で同時に埋め込み,分類することが可能な画像分類タスクをシミュレーションおよびハードウェアで検討した。

関連論文リスト

• UDiTQC: U-Net-Style Diffusion Transformer for Quantum Circuit Synthesis [13.380226276791818]
  現在の拡散モデルは、U-Netアーキテクチャに基づくアプローチであるが、計算効率とグローバルコンテキストのモデル化に関する課題に遭遇する。 マルチスケール特徴抽出におけるU-Netの強みとグローバルコンテキストをモデル化するTransformerの機能を組み合わせた,新しいU-Netスタイルの拡散変換アーキテクチャであるUDiTを提案する。
  論文  参考訳（メタデータ） (2025-01-24T15:15:50Z)
• Quantum Convolutional Neural Network with Flexible Stride [7.362858964229726]
  本稿では,新しい量子畳み込みニューラルネットワークアルゴリズムを提案する。 異なるタスクに対応するために、柔軟にストライドを調整できます。 データスケールの指数加速度を、従来のものに比べて少ないメモリで達成することができる。
  論文  参考訳（メタデータ） (2024-12-01T02:37:06Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• Transformer variational wave functions for frustrated quantum spin systems [0.0]
  本稿では,ニューラルネットワーク状態の新たなクラスを定義するために,複雑なパラメータを持つViTアーキテクチャの適応を提案する。 ViT波動関数の成功は、局所演算と大域演算の混合に依存する。
  論文  参考訳（メタデータ） (2022-11-10T11:56:44Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Generation of High-Resolution Handwritten Digits with an Ion-Trap Quantum Computer [55.41644538483948]
  本稿では, 量子回路に基づく生成モデルを構築し, 生成逆数ネットワークの事前分布を学習し, サンプル化する。 我々は、このハイブリッドアルゴリズムを171ドルのYb$+$ ion qubitsに基づいてイオントラップデバイスでトレーニングし、高品質な画像を生成する。
  論文  参考訳（メタデータ） (2020-12-07T18:51:28Z)
• Recurrent Quantum Neural Networks [7.6146285961466]
  リカレントニューラルネットワークは、機械学習における多くのシーケンス対シーケンスモデルの基盤となっている。 非自明なタスクに対して実証可能な性能を持つ量子リカレントニューラルネットワーク(QRNN)を構築する。 我々はQRNNをMNIST分類で評価し、QRNNに各画像ピクセルを供給し、また、最新のデータ拡張を前処理のステップとして利用する。
  論文  参考訳（メタデータ） (2020-06-25T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。