論文の概要: The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models

• arxiv url: http://arxiv.org/abs/2608.14691v1
• Date: Fri, 07 Aug 2026 15:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.966335
• Title: The Quantum Shortcut: Complex Phase-State Dynamics Reduce the Optimization Steps of Sequence Models
• Title（参考訳）: 量子ショートカット:複雑な相状態ダイナミクスによるシーケンスモデルの最適化ステップの低減
• Abstract要約: シーケンスモデルは、位置をまたいで情報をルーティングするメカニズムであるバックボーンによって区別される。 本論文は、バックボーンに先立って、ほぼ全ての現行モデルで共有される選択を異にする。 量子論の数学から引き出された複素値の代替法について検討し、そこでは状態の位相によって情報を伝達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequence models are conventionally distinguished by their backbone, the mechanism that routes information across positions, such as attention or recurrence. This paper varies a choice that is prior to the backbone and shared by nearly all current models: the \emph{substrate}, the number system in which the hidden state is represented together with the form of the map from state to prediction. The prevailing substrate is a real-valued state with an affine--softmax readout; we study a complex-valued alternative drawn from the mathematics of quantum theory, in which information is carried by the phases of the state and scores are quadratic Born forms. Prior work proved an idealized version of this substrate representationally stronger than any real model with a linear readout; we ask whether it also trains faster. Relaxing the two properties that block deployment, exact unitarity and the Born vocabulary readout, we instantiate it in the Mamba state-space model and an attention-based Transformer. At 253M parameters, matched to within $0.02\%$ and trained under one fixed protocol on three byte-level corpora, the complex models reach every measured validation loss in approximately one third (state-space) and one half (attention) of the optimization steps of their real counterparts. The two backbones then diverge. Once the learning-rate warmup ends, the state-space advantage continues to widen, from $0.321$ to $0.354$ bits per character on OpenWebText and from $0.368$ to $0.396$ on FineWeb, which an artifact of the warmup ramp would not do; the attention advantage instead decays toward zero on every corpus, and is therefore an effect of early training.
• Abstract（参考訳）: シーケンスモデルは、伝統的に、そのバックボーン(注意や再発などの位置をまたいで情報をルーティングするメカニズム)によって区別される。 本論文は, バックボーンに先行し, ほぼすべての現行モデルで共有される選択を, 隠れた状態が, 状態から予測への写像の形式とともに表される数系である「emph{substrate}」に変化させる。 我々は、量子論の数学から引き出された複素値の代替として、状態の位相によって情報を伝達し、スコアが二次ボルンの形式であるような、アフィン-ソフトマックスの読み出しを持つ実数値状態である。 以前の研究では、この基板の理想的なバージョンは、線形リードアウトを持つ実際のモデルよりも表現力が高いことが証明された。 デプロイをブロックする2つのプロパティ、正確なユニタリティ、Born語彙の読み出しを緩和して、MambaステートスペースモデルとアテンションベースのTransformerでインスタンス化する。 253Mパラメータは0.02\%の範囲で一致し、3つのバイトレベルのコーパス上で1つの固定プロトコルの下で訓練された。 背骨は2つに分かれる。 学習速度のウォームアップが終わると、状態空間のアドバンテージはOpenWebTextの文字あたり0.321ドルから0.354ドルに拡大し、ウォームアップランプのアーティファクトが実行しないファインウェブでは0.368ドルから0.396ドルに拡大され、その代わりに注意上のアドバンテージはすべてのコーパスでゼロに低下するため、早期トレーニングの効果である。

関連論文リスト

• Time-Frequency Geometric Cross-Attention for Chunked Vision-Language-Action Models [10.591519354017803]
  ビジョンアクション(VLA)政策における2つの盲点の修復方法を示す。 プリトレーニング済みのVLAを微調整するために、ドロップインモジュールを使用します。 TFGCA が LIBERO を平均で1.5、OOD LIBERO-Plus を+6.3、RoboTwin ドメインのランダム化で+28.5、AgiBot A2 のタスクで+11.67 のタスクで全体の成功率を示す。
  論文  参考訳（メタデータ） (2026-09-09T09:16:49Z)
• Exact Fock-State Preparation with $n^{1/4}$ Circuit Depth [0.18049490005680832]
  無限次元ヒルベルト空間におけるフォック状態の準備を二次元振幅増幅にマッピングする。 位相マッチングは理想的なモデルにおける単位の忠実さを保証するが、驚くべきことに、$|106rangle$の準備には39回しか必要としない。 このフレームワークは、これらの基本制御をサポートするプラットフォーム上で、高度に励起されたボソニック状態への広く適用可能なルートを提供する。
  論文  参考訳（メタデータ） (2026-08-24T15:35:08Z)
• How Good Can Linear Models Be for Time-Series Forecasting? [1.558068541168739]
  閉形式解と解釈可能な重みを持つので、テストベッドとしてリッジ回帰を用いる。 コンテクスト長,局所正規化,正規化,および8つの標準ベンチマーク上の拡張を探索する。 その結果得られたモデルは、ほとんどのデータセット水平エントリで以前の線形予測器を破り、8つのベンチマークのうち6つのベースラインであるTransformerを上回った。
  論文  参考訳（メタデータ） (2026-06-25T16:57:50Z)
• Simulating quantum circuits with a neural statebank [0.0]
  量子回路軌道に沿って波動関数を学習するニューラルステートバンクを導入する。 絡み合い、魔法、非対角分岐を組み合わせた長距離回路では、ステートバンクは34キュービットで$sim 10-2$に達する。 同じアーキテクチャは量子近似最適化、クリフォード+$T$、クリフォード回路を正確にシミュレートする。
  論文  参考訳（メタデータ） (2026-06-07T16:05:44Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
  Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。 提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
  論文  参考訳（メタデータ） (2025-09-08T17:59:59Z)
• Subspace Variational Quantum Simulation: Fidelity Lower Bounds as Measures of Training Success [4.387699521196243]
  与えられた部分空間内の任意の初期状態の時間発展をシミュレートする反復変分量子アルゴリズムを提案する。 このアルゴリズムは、トロッター回路を短いパラメータ化回路に圧縮し、複数の初期状態に対して同時に最適化する。 筆者らのコスト関数は,トレーニングランドスケープにおける各イテレーションにおいて,初期パラメータの近傍に不整形領域を示す。
  論文  参考訳（メタデータ） (2025-09-08T06:22:00Z)
• Holistic Surgical Phase Recognition with Hierarchical Input Dependent State Space Models [56.2236083600999]
  手術映像解析のための階層型入力依存状態空間モデルを提案する。 本フレームワークは,時間的一貫した視覚特徴抽出器を内蔵し,状態空間モデルヘッドを視覚特徴抽出器に付加し,時間的情報を伝達する。 実験により,本手法は最先端の手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-26T14:43:57Z)
• Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。 バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• DiffComplete: Diffusion-based Generative 3D Shape Completion [114.43353365917015]
  3次元レンジスキャンにおける形状完成のための拡散に基づく新しいアプローチを提案する。 私たちはリアリズム、マルチモダリティ、高忠実さのバランスを取ります。 DiffCompleteは2つの大規模3次元形状補完ベンチマークに新しいSOTA性能を設定する。
  論文  参考訳（メタデータ） (2023-06-28T16:07:36Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• NeuroMorph: Unsupervised Shape Interpolation and Correspondence in One Go [109.88509362837475]
  入力2つの3次元形状を考慮したニューラルネットワークアーキテクチャであるNeuroMorphを提案する。 NeuroMorphはそれらの間のスムーズかつポイントツーポイント対応を生成する。 異なる対象カテゴリの非等尺性ペアを含む、さまざまな入力形状に対してうまく機能する。
  論文  参考訳（メタデータ） (2021-06-17T12:25:44Z)
• Neural networks behave as hash encoders: An empirical study [79.38436088982283]
  ReLUライクなアクティベーションを持つニューラルネットワークの入力空間は、複数の線形領域に分割される。 このパーティションは、さまざまなディープラーニングモデルで以下のエンコーディング特性を示すことを実証します。 K$-Means、$K$-NN、およびロジスティック回帰などの単純なアルゴリズムは、トレーニングデータとテストデータの両方でかなり優れたパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2021-01-14T07:50:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。