Fugu-MT 論文翻訳(概要): Quantum Doubly Stochastic Transformers

論文の概要: Quantum Doubly Stochastic Transformers

arxiv url: http://arxiv.org/abs/2504.16275v1
Date: Tue, 22 Apr 2025 21:15:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:52.938152
Title: Quantum Doubly Stochastic Transformers
Title（参考訳）: 量子2倍確率変換器
Authors: Jannis Born, Filip Skogh, Kahn Rhrissorrakrai, Filippo Utro, Nico Wagner, Aleksandros Sobczyk,
Abstract要約: 二重変換器(QDSFormer)は自己アテンション層内のソフトマックスを変分量子回路で置き換えることを示す。 QDSFormerは、標準のVision Transformerと他の2倍のTransformerを一貫して上回っています。 QDSFormerはまた、トレーニングの安定性の改善とパフォーマンスの低さも示している。
参考スコア（独自算出の注目度）: 39.944142646344645
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: At the core of the Transformer, the Softmax normalizes the attention matrix to be right stochastic. Previous research has shown that this often destabilizes training and that enforcing the attention matrix to be doubly stochastic (through Sinkhorn's algorithm) consistently improves performance across different tasks, domains and Transformer flavors. However, Sinkhorn's algorithm is iterative, approximative, non-parametric and thus inflexible w.r.t. the obtained doubly stochastic matrix (DSM). Recently, it has been proven that DSMs can be obtained with a parametric quantum circuit, yielding a novel quantum inductive bias for DSMs with no known classical analogue. Motivated by this, we demonstrate the feasibility of a hybrid classical-quantum doubly stochastic Transformer (QDSFormer) that replaces the Softmax in the self-attention layer with a variational quantum circuit. We study the expressive power of the circuit and find that it yields more diverse DSMs that better preserve information than classical operators. Across multiple small-scale object recognition tasks, we find that our QDSFormer consistently surpasses both a standard Vision Transformer and other doubly stochastic Transformers. Beyond the established Sinkformer, this comparison includes a novel quantum-inspired doubly stochastic Transformer (based on QR decomposition) that can be of independent interest. The QDSFormer also shows improved training stability and lower performance variation suggesting that it may mitigate the notoriously unstable training of ViTs on small-scale data.
Abstract（参考訳）: Transformerのコアでは、Softmaxはアテンション行列を正規化して右確率にする。以前の研究では、これはしばしばトレーニングを不安定にし、注意行列を2倍に確率的に強制することは(シンクホーンのアルゴリズムを通して)様々なタスク、ドメイン、トランスフォーマーのフレーバーのパフォーマンスを一貫して改善することを示した。しかし、シンクホーンのアルゴリズムは反復的、近似的、非パラメトリックであり、得られた二重確率行列 (DSM) は非フレキシブルである。近年、DSMはパラメトリック量子回路で得られることが証明されており、既知の古典的なアナログを持たないDSMに対して新しい量子誘導バイアスをもたらす。そこで本研究では,自己保持層におけるSoftmaxを可変量子回路に置き換えた,古典量子二重確率変換器(QDSFormer)の実現可能性を示す。回路の表現力について検討し,従来の演算子よりも情報保存性が高い多種多様なDSMが得られることを示した。複数の小さなオブジェクト認識タスクの中で、私たちのQDSFormerは標準のVision Transformerと2倍の確率変換器の両方を一貫して上回っていることが分かりました。確立されたシンクフォーマー以外にも、この比較には、(QR分解に基づく)量子にインスパイアされた二重確率変換器(英語版)が含まれており、これは独立した関心を持つことができる。 QDSFormerはまた、トレーニングの安定性の改善とパフォーマンスの低さも示している。

関連論文リスト

Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。この設定における多層トランスの理論的解析はこれが初めてである。
論文参考訳（メタデータ） (2024-10-10T18:29:05Z)
Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention [0.464982780843177]
本稿では、SASQuaT(Self-Attention Sequential Quantum Transformer Channel)という変分量子回路アーキテクチャを提案する。提案手法は、単純なゲート演算と多次元量子フーリエ変換を用いたビジョントランスフォーマーネットワークの予測におけるカーネルベース演算子学習の最近の知見を活用する。提案手法の有効性を検証するため,9量子ビットと少数のパラメータしか持たず,手書き桁のグレースケール画像を高い精度で同時に埋め込み,分類することが可能な画像分類タスクをシミュレーションおよびハードウェアで検討した。
論文参考訳（メタデータ） (2024-03-21T18:00:04Z)
A sharp phase transition in linear cross-entropy benchmarking [1.4841630983274847]
XEB理論における重要な問題は、量子状態の準備の忠実度を近似するかどうかである。以前の研究では、XEBは、qudit $varepsilon$あたりのノイズレートが$varepsilon N ll 1$を満たす状態において、その忠実さを概ね近似していることを示している。ここでは、XEBの忠実度プロキシとしての分解が、臨界値$varepsilon N$の急激な位相遷移として起こることを示す。
論文参考訳（メタデータ） (2023-05-08T18:00:05Z)
Convergence and Quantum Advantage of Trotterized MERA for Strongly-Correlated Systems [0.0]
トロッタライズされたMERA VQEは、量子コンピュータ上での強い相関関係の量子多体系の効率的な研究にとって有望なルートである。我々は,MERA層をステージ上に構築し,最適化中に位相図を走査することにより,収束を著しく改善できることを示す。
論文参考訳（メタデータ） (2023-03-15T20:09:45Z)
Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文参考訳（メタデータ） (2022-07-05T03:08:27Z)
Verifying quantum information scrambling dynamics in a fully controllable superconducting quantum simulator [0.0]
アナログ超伝導量子シミュレーターを用いて, 1次元スピンチェーンにおいて, 個々の駆動条件と結合条件の符号と値が完全に制御可能であることを示す。我々の研究は超伝導系を強力な量子シミュレータとして実証している。
論文参考訳（メタデータ） (2021-12-21T13:41:47Z)
SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。ソフトマックスフリー変圧器(SOFT)を初めて提案する。
論文参考訳（メタデータ） (2021-10-22T17:57:29Z)
Sinkformers: Transformers with Doubly Stochastic Attention [22.32840998053339]
我々はシンクホルンのアルゴリズムを用いて注意行列を2倍にし、その結果のモデルをシンクフォーマと呼ぶ。実験面では、Sinkformersは視覚および自然言語処理タスクにおけるモデルの精度を向上させる。重要なのは、3D形状の分類において、シンクフォーマーは顕著な改善をもたらすことである。
論文参考訳（メタデータ） (2021-10-22T13:25:01Z)
Quantum algorithms for quantum dynamics: A performance study on the spin-boson model [68.8204255655161]
量子力学シミュレーションのための量子アルゴリズムは、伝統的に時間進化作用素のトロッター近似の実装に基づいている。変分量子アルゴリズムは欠かせない代替手段となり、現在のハードウェア上での小規模なシミュレーションを可能にしている。量子ゲートコストが明らかに削減されているにもかかわらず、現在の実装における変分法は量子的優位性をもたらすことはありそうにない。
論文参考訳（メタデータ） (2021-08-09T18:00:05Z)
Transmon platform for quantum computing challenged by chaotic fluctuations [55.41644538483948]
現在の量子プロセッサに関連するシステムパラメータに対する多体ローカライズド(MBL)位相の変動の安定性について検討する。これらのコンピューティングプラットフォームは、制御不能なカオス的変動のフェーズに危険なほど近いことが分かりました。
論文参考訳（メタデータ） (2020-12-10T19:00:03Z)
Adaptive Variational Quantum Dynamics Simulations [3.629716738568079]
本稿では、高精度な量子力学シミュレーションのための変分波動関数アンゼ構築のための汎用的自己適応的手法を提案する。このアプローチを可積分リーブ・シュルツ・マティススピン鎖と非可積分混合体イジングモデルに適用する。 AVQDSフレームワークにより、短期量子コンピューティングデバイス上での量子多体システムの幅広い動的シミュレーションが可能となることを期待する。
論文参考訳（メタデータ） (2020-11-01T20:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。