論文の概要: Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention

• arxiv url: http://arxiv.org/abs/2403.14753v2
• Date: Wed, 05 Feb 2025 16:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 18:38:29.058295
• Title: Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention
• Title（参考訳）: SASQuaTChによる学習:カーネルに基づく自己注意型変分量子トランスアーキテクチャ
• Authors: Ethan N. Evans, Matthew Cook, Zachary P. Bradshaw, Margarite L. LaBorde,
• Abstract要約: 本稿では、SASQuaT(Self-Attention Sequential Quantum Transformer Channel)という変分量子回路アーキテクチャを提案する。 提案手法は、単純なゲート演算と多次元量子フーリエ変換を用いたビジョントランスフォーマーネットワークの予測におけるカーネルベース演算子学習の最近の知見を活用する。 提案手法の有効性を検証するため,9量子ビットと少数のパラメータしか持たず,手書き桁のグレースケール画像を高い精度で同時に埋め込み,分類することが可能な画像分類タスクをシミュレーションおよびハードウェアで検討した。
• 参考スコア（独自算出の注目度）: 0.464982780843177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent exploding growth in size of state-of-the-art machine learning models highlights a well-known issue where exponential parameter growth, which has grown to trillions as in the case of the Generative Pre-trained Transformer (GPT), leads to training time and memory requirements which limit their advancement in the near term. The predominant models use the so-called transformer network and have a large field of applicability, including predicting text and images, classification, and even predicting solutions to the dynamics of physical systems. Here we present a variational quantum circuit architecture named Self-Attention Sequential Quantum Transformer Channel (SASQuaTCh), which builds networks of qubits that perform analogous operations of the transformer network, namely the keystone self-attention operation, and leads to an exponential improvement in parameter complexity and run-time complexity over its classical counterpart. Our approach leverages recent insights from kernel-based operator learning in the context of predicting spatiotemporal systems to represent deep layers of a vision transformer network using simple gate operations and a set of multi-dimensional quantum Fourier transforms. To validate our approach, we consider image classification tasks in simulation and with hardware, where with only 9 qubits and a handful of parameters we are able to simultaneously embed and classify a grayscale image of handwritten digits with high accuracy.
• Abstract（参考訳）: 最近の最先端機械学習モデルの大きさの爆発的な成長は、指数パラメータの増大が、GPT(Generative Pre-trained Transformer)のように数兆に成長したことで、短期的に進行を制限するトレーニング時間とメモリ要件に繋がる、よく知られた問題を強調している。 主流のモデルは、いわゆるトランスフォーマーネットワークを使用し、テキストや画像の予測、分類、物理システムのダイナミックスに対するソリューションの予測など、幅広い適用性を持つ。 ここでは,変圧器ネットワークの類似的な操作,すなわちキーストーンの自己アテンション動作を行うキュービットのネットワークを構築し,パラメータの複雑性と実行時の複雑性を古典的よりも指数関数的に向上させる,自己アテンション連続量子トランスフォーマーチャネル(SASQuaTCh)という変分量子回路アーキテクチャを提案する。 提案手法は,多次元量子フーリエ変換の集合とゲート演算を用いた視覚変換器ネットワークの深層を表現するために,時空間系予測の文脈におけるカーネルベース演算子学習の最近の知見を利用する。 提案手法の有効性を検証するため,9量子ビットと少数のパラメータしか持たず,手書き桁のグレースケール画像を高い精度で同時に埋め込み,分類することが可能な画像分類タスクをシミュレーションおよびハードウェアで検討した。

関連論文リスト

• Quantum parallel information exchange (QPIE) hybrid network with transfer learning [18.43273756128771]
  量子機械学習(QML)は、複雑なパターンを明らかにする可能性のある革新的なフレームワークとして登場した。 量子並列情報交換(QPIE)ハイブリッドネットワークを導入する。 量子処理ユニットにパラメータシフトルールを適用する動的勾配選択法を開発した。
  論文  参考訳（メタデータ） (2025-04-05T17:25:26Z)
• Quantum Adaptive Self-Attention for Quantum Transformer Models [0.0]
  本稿では,量子アテンション機構を備えた古典的トランスフォーマーモデルを強化するハイブリッドアーキテクチャであるQuantum Adaptive Self-Attention (QASA)を提案する。 QASAはドット積の注意をパラメータ化量子回路(PQC)に置き換え、量子ヒルベルト空間におけるトークン間の関係を適応的に捉える。 合成時系列タスクの実験により、QASAは標準変圧器と古典的変圧器の双方と比較して、より高速な収束と優れた一般化を実現することが示された。
  論文  参考訳（メタデータ） (2025-04-05T02:52:37Z)
• Quantum Convolutional Neural Network with Flexible Stride [7.362858964229726]
  本稿では,新しい量子畳み込みニューラルネットワークアルゴリズムを提案する。 異なるタスクに対応するために、柔軟にストライドを調整できます。 データスケールの指数加速度を、従来のものに比べて少ないメモリで達成することができる。
  論文  参考訳（メタデータ） (2024-12-01T02:37:06Z)
• Exploiting recursive structures for the design of novel quantum primitives [0.1227734309612871]
  本稿では,新しい量子プリミティブの生成に焦点を当てる。 これらの構造をどのように利用して新しい、潜在的に有利な量子アルゴリズムを設計できるかを示す。 量子アルゴリズム、数値解析、信号処理に対する潜在的な影響についてコメントする。
  論文  参考訳（メタデータ） (2024-10-17T17:45:50Z)
• Efficient Learning for Linear Properties of Bounded-Gate Quantum Circuits [63.733312560668274]
  d可変RZゲートとG-dクリフォードゲートを含む量子回路を与えられた場合、学習者は純粋に古典的な推論を行い、その線形特性を効率的に予測できるだろうか? 我々は、d で線形にスケーリングするサンプルの複雑さが、小さな予測誤差を達成するのに十分であり、対応する計算の複雑さは d で指数関数的にスケールすることを証明する。 我々は,予測誤差と計算複雑性をトレードオフできるカーネルベースの学習モデルを考案し,多くの実践的な環境で指数関数からスケーリングへ移行した。
  論文  参考訳（メタデータ） (2024-08-22T08:21:28Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Zero and Finite Temperature Quantum Simulations Powered by Quantum Magic [1.5998200006932823]
  短期量子デバイス上での多体ハミルトニアンのキャラクタリゼーションを改善するために,量子情報理論に着想を得た手法を提案する。 本稿では,デジタルおよびアナログ量子ハードウェア上でのゼロおよび有限温度自由エネルギー計算において,本プロトコルが大幅な性能向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-08-22T17:59:41Z)
• TeD-Q: a tensor network enhanced distributed hybrid quantum machine learning framework [59.07246314484875]
  TeD-Qは、量子機械学習のためのオープンソースのソフトウェアフレームワークである。 古典的な機械学習ライブラリと量子シミュレータをシームレスに統合する。 量子回路とトレーニングの進捗をリアルタイムで視覚化できるグラフィカルモードを提供する。
  論文  参考訳（メタデータ） (2023-01-13T09:35:05Z)
• The Quantum Path Kernel: a Generalized Quantum Neural Tangent Kernel for Deep Quantum Machine Learning [52.77024349608834]
  古典的なディープニューラルネットワークの量子アナログを構築することは、量子コンピューティングにおける根本的な課題である。 鍵となる問題は、古典的なディープラーニングの本質的な非線形性にどのように対処するかである。 我々は、深層機械学習のこれらの側面を複製できる量子機械学習の定式化であるQuantum Path Kernelを紹介する。
  論文  参考訳（メタデータ） (2022-12-22T16:06:24Z)
• Fock-space Schrieffer--Wolff transformation: classically-assisted rank-reduced quantum phase estimation algorithm [0.0]
  本稿では,分子系における電子ハミルトニアンのシュリーファー-ヴォルフ変換に着目した。 我々は、SW変換のフォック空間不変量を利用することで、量子ビットマップされた類似性の変換ハミルトン多様体の局所性を大幅に増大させることができることを示した。 RRST形式主義は、量子回路の複雑さを減少させる近似スキームの新しいクラスを開発するための設計原理として機能する。
  論文  参考訳（メタデータ） (2022-11-18T23:06:57Z)
• Transformer variational wave functions for frustrated quantum spin systems [0.0]
  本稿では,ニューラルネットワーク状態の新たなクラスを定義するために,複雑なパラメータを持つViTアーキテクチャの適応を提案する。 ViT波動関数の成功は、局所演算と大域演算の混合に依存する。
  論文  参考訳（メタデータ） (2022-11-10T11:56:44Z)
• Quantum Phase Processing and its Applications in Estimating Phase and Entropies [10.8525801756287]
  量子位相処理」は、任意の三角変換をユニタリ作用素の固有位相に直接適用することができる。 量子位相処理は、単にアンシラ量子ビットを測定することで、量子システムの固有情報を取り出すことができる。 本稿では,量子フーリエ変換を必要としない量子位相推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-28T17:41:19Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Quantum algorithms for quantum dynamics: A performance study on the spin-boson model [68.8204255655161]
  量子力学シミュレーションのための量子アルゴリズムは、伝統的に時間進化作用素のトロッター近似の実装に基づいている。 変分量子アルゴリズムは欠かせない代替手段となり、現在のハードウェア上での小規模なシミュレーションを可能にしている。 量子ゲートコストが明らかに削減されているにもかかわらず、現在の実装における変分法は量子的優位性をもたらすことはありそうにない。
  論文  参考訳（メタデータ） (2021-08-09T18:00:05Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Information Scrambling in Computationally Complex Quantum Circuits [56.22772134614514]
  53量子ビット量子プロセッサにおける量子スクランブルのダイナミクスを実験的に検討する。 演算子の拡散は効率的な古典的モデルによって捉えられるが、演算子の絡み合いは指数関数的にスケールされた計算資源を必要とする。
  論文  参考訳（メタデータ） (2021-01-21T22:18:49Z)
• Generation of High-Resolution Handwritten Digits with an Ion-Trap Quantum Computer [55.41644538483948]
  本稿では, 量子回路に基づく生成モデルを構築し, 生成逆数ネットワークの事前分布を学習し, サンプル化する。 我々は、このハイブリッドアルゴリズムを171ドルのYb$+$ ion qubitsに基づいてイオントラップデバイスでトレーニングし、高品質な画像を生成する。
  論文  参考訳（メタデータ） (2020-12-07T18:51:28Z)
• Experimental Quantum Generative Adversarial Networks for Image Generation [93.06926114985761]
  超伝導量子プロセッサを用いた実世界の手書き桁画像の学習と生成を実験的に行う。 我々の研究は、短期量子デバイス上での高度な量子生成モデル開発のためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2020-10-13T06:57:17Z)
• Autoregressive Transformer Neural Network for Simulating Open Quantum Systems via a Probabilistic Formulation [5.668795025564699]
  オープン量子システムのダイナミクスに対処するためのアプローチを提案する。 自己回帰変換ニューラルネットワークを用いて量子状態をコンパクトに表現する。 効率的なアルゴリズムは、リウヴィリア超作用素の力学をシミュレートするために開発された。
  論文  参考訳（メタデータ） (2020-09-11T18:00:00Z)
• Recurrent Quantum Neural Networks [7.6146285961466]
  リカレントニューラルネットワークは、機械学習における多くのシーケンス対シーケンスモデルの基盤となっている。 非自明なタスクに対して実証可能な性能を持つ量子リカレントニューラルネットワーク(QRNN)を構築する。 我々はQRNNをMNIST分類で評価し、QRNNに各画像ピクセルを供給し、また、最新のデータ拡張を前処理のステップとして利用する。
  論文  参考訳（メタデータ） (2020-06-25T17:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。