論文の概要: A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation

• arxiv url: http://arxiv.org/abs/2502.19214v1
• Date: Wed, 26 Feb 2025 15:15:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:57:13.509004
• Title: A Hybrid Transformer Architecture with a Quantized Self-Attention Mechanism Applied to Molecular Generation
• Title（参考訳）: 分子生成に応用した量子自己保持機構を持つハイブリッドトランスアーキテクチャ
• Authors: Anthony M. Smaldone, Yu Shee, Gregory W. Kyro, Marwa H. Farag, Zohim Chandani, Elica Kyoseva, Victor S. Batista,
• Abstract要約: 本稿では,トランスデコーダの一部として,量子古典的自己アテンション機構を提案する。 クェリキードット積の時間的複雑さは古典的モデルでは$mathcalO(n2 d)$から量子モデルでは$mathcalO(n2 d)$に減少する。 この研究は、量子化自然言語処理(NLP)のための有望な道を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The success of the self-attention mechanism in classical machine learning models has inspired the development of quantum analogs aimed at reducing computational overhead. Self-attention integrates learnable query and key matrices to calculate attention scores between all pairs of tokens in a sequence. These scores are then multiplied by a learnable value matrix to obtain the output self-attention matrix, enabling the model to effectively capture long-range dependencies within the input sequence. Here, we propose a hybrid quantum-classical self-attention mechanism as part of a transformer decoder, the architecture underlying large language models (LLMs). To demonstrate its utility in chemistry, we train this model on the QM9 dataset for conditional generation, using SMILES strings as input, each labeled with a set of physicochemical properties that serve as conditions during inference. Our theoretical analysis shows that the time complexity of the query-key dot product is reduced from $\mathcal{O}(n^2 d)$ in a classical model to $\mathcal{O}(n^2\log d)$ in our quantum model, where $n$ and $d$ represent the sequence length and embedding dimension, respectively. We perform simulations using NVIDIA's CUDA-Q platform, which is designed for efficient GPU scalability. This work provides a promising avenue for quantum-enhanced natural language processing (NLP).
• Abstract（参考訳）: 古典的な機械学習モデルにおける自己注意機構の成功は、計算オーバーヘッドを減らすことを目的とした量子アナログの開発にインスピレーションを与えている。 自己注意(Self-attention)は、学習可能なクエリとキー行列を統合して、シーケンス内のすべてのトークン間のアテンションスコアを計算する。 これらのスコアは学習可能な値行列に乗じて出力の自己アテンション行列を取得し、モデルが入力シーケンス内の長距離依存関係を効果的にキャプチャすることを可能にする。 本稿では,大規模言語モデル(LLM)を基盤としたアーキテクチャであるトランスフォーマーデコーダの一部として,量子古典的自己アテンション機構を提案する。 化学におけるその有用性を実証するため, SMILES文字列を入力として, このモデルを条件生成用QM9データセットでトレーニングし, 推論中の条件として機能する物理化学的特性のセットをラベル付けした。 我々の理論的解析により、クエリキードット積の時間的複雑さは古典的モデルでは$\mathcal{O}(n^2 d)$から$\mathcal{O}(n^2\log d)$に減少し、量子モデルでは$n$と$d$はそれぞれシーケンス長と埋め込み次元を表す。 我々は、効率的なGPUスケーラビリティのために設計されたNVIDIAのCUDA-Qプラットフォームを使用してシミュレーションを行う。 この研究は、量子強化自然言語処理(NLP)のための有望な道を提供する。

関連論文リスト

• Kolmogorov GAM Networks are all you need! [0.6906005491572398]
  Kolmogorov GAMネットワークは、トレーニングと推論のための効率的なアーキテクチャであることが示されている。 それらは、関心の関数に依存しない埋め込みを持つ加法モデルである。
  論文  参考訳（メタデータ） (2025-01-01T02:46:00Z)
• Memory-Augmented Hybrid Quantum Reservoir Computing [0.0]
  本稿では、量子計測の古典的後処理を通じてメモリを実装するハイブリッド量子古典的アプローチを提案する。 我々は、完全に連結されたIsingモデルとRydberg原子配列の2つの物理プラットフォーム上でモデルをテストした。
  論文  参考訳（メタデータ） (2024-09-15T22:44:09Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory [63.41820940103348]
  自己保持機構の計算コストは、長いシーケンスの実用性を制限する。 我々はLongVQと呼ばれる新しい手法を提案し、長さ固定されたコードブックとしてグローバルな抽象化を圧縮する。 LongVQは動的グローバルパターンとローカルパターンを効果的に維持し、長距離依存性の問題の欠如を補うのに役立つ。
  論文  参考訳（メタデータ） (2024-04-17T08:26:34Z)
• Quantum linear algebra is all you need for Transformer architectures [1.660288273261283]
  フォールトトレラント量子コンピューティングのレンズ下でのトランスフォーマーアーキテクチャについて検討する。 我々は,ソフトマックス関数の行ワイド適用のための新しいサブルーチンを用いて,自己アテンション行列のブロック符号化の仕方を示す。 我々のサブルーチンは変換器出力の振幅エンコーディングを作成し、予測値を得るために測定することができる。
  論文  参考訳（メタデータ） (2024-02-26T16:31:28Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• QNet: A Quantum-native Sequence Encoder Architecture [2.8099769011264586]
  この研究は、量子コンピュータ上で最小の量子ビットを用いて完全に推論する新しいシーケンスエンコーダモデルQNetを提案する。 さらに,残差接続によってリンクされた数個のQNetブロックからなる量子古典ハイブリッドモデルResQNetを紹介する。
  論文  参考訳（メタデータ） (2022-10-31T12:36:37Z)
• Quantum Semi-Supervised Kernel Learning [4.726777092009554]
  本稿では,セミスーパービジョンカーネル支援ベクトルマシンを学習するための量子機械学習アルゴリズムを提案する。 完全教師付き量子LS-SVMと同じスピードアップを維持していることを示す。
  論文  参考訳（メタデータ） (2022-04-22T13:39:55Z)
• Fixed Depth Hamiltonian Simulation via Cartan Decomposition [59.20417091220753]
  時間に依存しない深さの量子回路を生成するための構成的アルゴリズムを提案する。 一次元横フィールドXYモデルにおけるアンダーソン局在化を含む、モデルの特殊クラスに対するアルゴリズムを強調する。 幅広いスピンモデルとフェルミオンモデルに対して正確な回路を提供するのに加えて、我々のアルゴリズムは最適なハミルトニアンシミュレーションに関する幅広い解析的および数値的な洞察を提供する。
  論文  参考訳（メタデータ） (2021-04-01T19:06:00Z)
• Variational Monte Carlo calculations of $\mathbf{A\leq 4}$ nuclei with an artificial neural-network correlator ansatz [62.997667081978825]
  光核の基底状態波動関数をモデル化するためのニューラルネットワーク量子状態アンサッツを導入する。 我々は、Aleq 4$核の結合エネルギーと点核密度を、上位のピオンレス実効場理論から生じるものとして計算する。
  論文  参考訳（メタデータ） (2020-07-28T14:52:28Z)
• Simulating nonnative cubic interactions on noisy quantum machines [65.38483184536494]
  量子プロセッサは、ハードウェアに固有のものではないダイナミクスを効率的にシミュレートするためにプログラムできることを示す。 誤差補正のないノイズのあるデバイスでは、モジュールゲートを用いて量子プログラムをコンパイルするとシミュレーション結果が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2020-04-15T05:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。