論文の概要: Quantum Doubly Stochastic Transformers

• arxiv url: http://arxiv.org/abs/2504.16275v2
• Date: Fri, 07 Nov 2025 21:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 14:55:59.917482
• Title: Quantum Doubly Stochastic Transformers
• Title（参考訳）: 量子2倍確率変換器
• Authors: Jannis Born, Filip Skogh, Kahn Rhrissorrakrai, Filippo Utro, Nico Wagner, Aleksandros Sobczyk,
• Abstract要約: 二重変換器(QDSFormer)は自己保持層内のソフトマックスを変分量子回路で置き換えることを示す。 QDSFormerは、標準のViTと他の2倍のトランスフォーマーの両方を一貫して上回っている。 我々のQDSFormerはトレーニングの安定性の向上と性能の低さも示しており、小規模なデータに対するVisの不安定なトレーニングを軽減できる可能性が示唆されている。
• 参考スコア（独自算出の注目度）: 38.14115932689496
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: At the core of the Transformer, the softmax normalizes the attention matrix to be right stochastic. Previous research has shown that this often de-stabilizes training and that enforcing the attention matrix to be doubly stochastic (through Sinkhorn's algorithm) consistently improves performance across different tasks, domains and Transformer flavors. However, Sinkhorn's algorithm is iterative, approximative, non-parametric and thus inflexible w.r.t. the obtained doubly stochastic matrix (DSM). Recently, it has been proven that DSMs can be obtained with a parametric quantum circuit, yielding a novel quantum inductive bias for DSMs with no known classical analogue. Motivated by this, we demonstrate the feasibility of a hybrid classical-quantum doubly stochastic Transformer (QDSFormer) that replaces the softmax in the self-attention layer with a variational quantum circuit. We study the expressive power of the circuit and find that it yields more diverse DSMs that better preserve information than classical operators. Across multiple small-scale object recognition tasks, we find that our QDSFormer consistently surpasses both a standard ViT and other doubly stochastic Transformers. Beyond the Sinkformer, this comparison includes a novel quantum-inspired doubly stochastic Transformer (based on QR decomposition) that can be of independent interest. Our QDSFormer also shows improved training stability and lower performance variation suggesting that it may mitigate the notoriously unstable training of ViTs on small-scale data.
• Abstract（参考訳）: Transformerのコアでは、ソフトマックスがアテンション行列を正規化して右確率にする。 以前の研究では、これはしばしばトレーニングを不安定にし、注意行列を2倍に確率的に強制することは(シンクホーンのアルゴリズムを通して)様々なタスク、ドメイン、トランスフォーマーのフレーバーのパフォーマンスを一貫して改善することを示した。 しかし、シンクホーンのアルゴリズムは反復的、近似的、非パラメトリックであり、得られた二重確率行列 (DSM) は非フレキシブルである。 近年、DSMはパラメトリック量子回路で得られることが証明されており、既知の古典的なアナログを持たないDSMに対して新しい量子誘導バイアスをもたらす。 そこで本研究では,自己保持層におけるソフトマックスを可変量子回路で置き換える,古典量子二重確率変換器(QDSFormer)の実現可能性を示す。 回路の表現力について検討し,従来の演算子よりも情報保存性が高い多種多様なDSMが得られることを示した。 複数の小さなオブジェクト認識タスクにおいて、当社のQDSFormerは標準のViTおよび他の2倍の確率変換器を一貫して上回っていることが分かりました。 Sinkformer以外にも、この比較には、(QR分解に基づく)量子にインスパイアされた二重確率変換器(英語版)が含まれており、これは独立した関心を持つことができる。 当社のQDSFormerでは、トレーニング安定性の向上とパフォーマンスの低さも示しています。

関連論文リスト

• Clustering in Deep Stochastic Transformers [10.988655177671255]
  層正規化を伴うディープトランスフォーマーの既存の理論は、通常、トークンが単一のポイントにクラスタされることを予測している。 ランダムな値からノイズが発生する深層変圧器を解析する。 2つのトークンに対して、相互作用強度とトークン次元によって支配される相転移を証明します。
  論文  参考訳（メタデータ） (2026-01-29T16:28:13Z)
• Quantum-Inspired Algorithms beyond Unitary Circuits: the Laplace Transform [0.0]
  量子インスパイアされたアルゴリズムは、古典的な最先端の手法よりも大幅にスピードアップできる。 離散ラプラス変換(非単項非周期変換)を計算するためのテンソル-ネットワークアプローチを導入する。 我々は最大$N=230$の入力データポイントと最大260$の出力データポイントのシミュレーションを実証し、ボンド次元が実行時と精度をどのように制御するかを定量化する。
  論文  参考訳（メタデータ） (2026-01-25T07:19:56Z)
• Continual Quantum Architecture Search with Tensor-Train Encoding: Theory and Applications to Signal Processing [68.35481158940401]
  CL-QASは連続的な量子アーキテクチャ検索フレームワークである。 振幅のエンコードと変分量子回路の忘れを犠牲にすることの課題を緩和する。 制御可能なロバスト性表現性、サンプル効率の一般化、およびバレンプラトーを使わずに滑らかな収束を実現する。
  論文  参考訳（メタデータ） (2026-01-10T02:36:03Z)
• Towards Quantum Enhanced Adversarial Robustness with Rydberg Reservoir Learning [45.92935470813908]
  量子コンピューティング貯水池(QRC)は、量子多体系に固有の高次元非線形力学を利用する。 近年の研究では、変動回路に基づく摂動量子は逆数の影響を受けやすいことが示されている。 QR学習モデルにおける対向的堅牢性の最初の体系的評価について検討する。
  論文  参考訳（メタデータ） (2025-10-15T12:17:23Z)
• Digital quantum simulation of many-body localization crossover in a disordered kicked Ising model [0.0]
  乱れたフロッケ多体系における非平衡問題として多体局所化クロスオーバーをシミュレーションする。 我々は、多体ローカライゼーションクロスオーバーの指標として、時間外順序付き相関器を計算した。 2つの独立誤差緩和法を比較することにより, 結果の有効性を確認した。
  論文  参考訳（メタデータ） (2025-10-02T12:57:19Z)
• Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning? [69.4145579827826]
  収束ランドスケープの勾配非性アルゴリズムにもかかわらず、回帰損失に高速な流れを示す。 この設定における多層トランスの理論的解析はこれが初めてである。
  論文  参考訳（メタデータ） (2024-10-10T18:29:05Z)
• Learning with SASQuaTCh: a Novel Variational Quantum Transformer Architecture with Kernel-Based Self-Attention [0.464982780843177]
  本稿では、SASQuaT(Self-Attention Sequential Quantum Transformer Channel)という変分量子回路アーキテクチャを提案する。 提案手法は、単純なゲート演算と多次元量子フーリエ変換を用いたビジョントランスフォーマーネットワークの予測におけるカーネルベース演算子学習の最近の知見を活用する。 提案手法の有効性を検証するため,9量子ビットと少数のパラメータしか持たず,手書き桁のグレースケール画像を高い精度で同時に埋め込み,分類することが可能な画像分類タスクをシミュレーションおよびハードウェアで検討した。
  論文  参考訳（メタデータ） (2024-03-21T18:00:04Z)
• A sharp phase transition in linear cross-entropy benchmarking [1.4841630983274847]
  XEB理論における重要な問題は、量子状態の準備の忠実度を近似するかどうかである。 以前の研究では、XEBは、qudit $varepsilon$あたりのノイズレートが$varepsilon N ll 1$を満たす状態において、その忠実さを概ね近似していることを示している。 ここでは、XEBの忠実度プロキシとしての分解が、臨界値$varepsilon N$の急激な位相遷移として起こることを示す。
  論文  参考訳（メタデータ） (2023-05-08T18:00:05Z)
• Convergence and Quantum Advantage of Trotterized MERA for Strongly-Correlated Systems [0.0]
  トロッタライズされたMERA VQEは、量子コンピュータ上での強い相関関係の量子多体系の効率的な研究にとって有望なルートである。 我々は,MERA層をステージ上に構築し,最適化中に位相図を走査することにより,収束を著しく改善できることを示す。
  論文  参考訳（メタデータ） (2023-03-15T20:09:45Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Verifying quantum information scrambling dynamics in a fully controllable superconducting quantum simulator [0.0]
  アナログ超伝導量子シミュレーターを用いて, 1次元スピンチェーンにおいて, 個々の駆動条件と結合条件の符号と値が完全に制御可能であることを示す。 我々の研究は超伝導系を強力な量子シミュレータとして実証している。
  論文  参考訳（メタデータ） (2021-12-21T13:41:47Z)
• SOFT: Softmax-free Transformer with Linear Complexity [112.9754491864247]
  視覚変換器(ViT)は、パッチワイド画像トークン化と自己認識によって、様々な視覚認識タスクの最先端を推し進めている。 線形複雑度で自己注意を近似する様々な試みが自然言語処理で行われている。 これらの制限は、近似中にソフトマックスの自己注意を維持することに根ざしている。 ソフトマックスフリー変圧器(SOFT)を初めて提案する。
  論文  参考訳（メタデータ） (2021-10-22T17:57:29Z)
• Sinkformers: Transformers with Doubly Stochastic Attention [22.32840998053339]
  我々はシンクホルンのアルゴリズムを用いて注意行列を2倍にし、その結果のモデルをシンクフォーマと呼ぶ。 実験面では、Sinkformersは視覚および自然言語処理タスクにおけるモデルの精度を向上させる。 重要なのは、3D形状の分類において、シンクフォーマーは顕著な改善をもたらすことである。
  論文  参考訳（メタデータ） (2021-10-22T13:25:01Z)
• Quantum algorithms for quantum dynamics: A performance study on the spin-boson model [68.8204255655161]
  量子力学シミュレーションのための量子アルゴリズムは、伝統的に時間進化作用素のトロッター近似の実装に基づいている。 変分量子アルゴリズムは欠かせない代替手段となり、現在のハードウェア上での小規模なシミュレーションを可能にしている。 量子ゲートコストが明らかに削減されているにもかかわらず、現在の実装における変分法は量子的優位性をもたらすことはありそうにない。
  論文  参考訳（メタデータ） (2021-08-09T18:00:05Z)
• Transmon platform for quantum computing challenged by chaotic fluctuations [55.41644538483948]
  現在の量子プロセッサに関連するシステムパラメータに対する多体ローカライズド(MBL)位相の変動の安定性について検討する。 これらのコンピューティングプラットフォームは、制御不能なカオス的変動のフェーズに危険なほど近いことが分かりました。
  論文  参考訳（メタデータ） (2020-12-10T19:00:03Z)
• Adaptive Variational Quantum Dynamics Simulations [3.629716738568079]
  本稿では、高精度な量子力学シミュレーションのための変分波動関数アンゼ構築のための汎用的自己適応的手法を提案する。 このアプローチを可積分リーブ・シュルツ・マティススピン鎖と非可積分混合体イジングモデルに適用する。 AVQDSフレームワークにより、短期量子コンピューティングデバイス上での量子多体システムの幅広い動的シミュレーションが可能となることを期待する。
  論文  参考訳（メタデータ） (2020-11-01T20:21:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。