論文の概要: The Phasor Transformer: Resolving Attention Bottlenecks on the Unit Circle

• arxiv url: http://arxiv.org/abs/2603.17433v1
• Date: Wed, 18 Mar 2026 07:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.563197
• Title: The Phasor Transformer: Resolving Attention Bottlenecks on the Unit Circle
• Title（参考訳）: Phasor Transformer: 単位円上の注意ボトルネックの解消
• Authors: Dibakar Sigdel,
• Abstract要約: textbfPhasor Transformer ブロックは、単位円多様体 $S1$ 上のシーケンス状態を表すフェーズネイティブな代替である。 これらのブロックを積み重ねると textbfLarge Phasor Model (LPM) が定義される。 その結果,時間列の大規模モデルスケーリングが,決定論的大域的結合を伴う幾何制約位相から生じることを実証し,明確な効率・性能のフロンティアを確立した。
• 参考スコア（独自算出の注目度）: 0.09229852843814058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Transformer models have redefined sequence learning, yet dot-product self-attention introduces a quadratic token-mixing bottleneck for long-context time-series. We introduce the \textbf{Phasor Transformer} block, a phase-native alternative representing sequence states on the unit-circle manifold $S^1$. Each block combines lightweight trainable phase-shifts with parameter-free Discrete Fourier Transform (DFT) token coupling, achieving global $\mathcal{O}(N\log N)$ mixing without explicit attention maps. Stacking these blocks defines the \textbf{Large Phasor Model (LPM)}. We validate LPM on autoregressive time-series prediction over synthetic multi-frequency benchmarks. Operating with a highly compact parameter budget, LPM learns stable global dynamics and achieves competitive forecasting behavior compared to conventional self-attention baselines. Our results establish an explicit efficiency-performance frontier, demonstrating that large-model scaling for time-series can emerge from geometry-constrained phase computation with deterministic global coupling, offering a practical path toward scalable temporal modeling in oscillatory domains.
• Abstract（参考訳）: トランスフォーマーモデルではシーケンス学習が再定義されているが、ドット生成の自己アテンションは長文の時系列に対して2次トークン混在のボトルネックをもたらす。 単円多様体 $S^1$ 上の列状態を表す相ネイティブな代用である \textbf{Phasor Transformer} ブロックを導入する。 各ブロックは、軽量なトレーニング可能な位相シフトとパラメータフリーの離散フーリエ変換(DFT)トークン結合を結合し、明示的な注意マップなしで大域的な$\mathcal{O}(N\log N)$混合を達成する。 これらのブロックを積み重ねると、 \textbf{Large Phasor Model (LPM) が定義される。 合成マルチ周波数ベンチマークによる自己回帰時系列予測におけるLPMの有効性を検証した。 非常にコンパクトなパラメータ予算で運用すると、LPMは安定なグローバルダイナミクスを学習し、従来の自己注意ベースラインと比較して競争的な予測動作を達成する。 この結果から,時間列の大規模モデルスケーリングが決定論的大域的結合による幾何制約位相計算から実現可能であることを示すとともに,振動領域における拡張時間モデルへの実践的経路を提供する。

関連論文リスト

• vLinear: A Powerful Linear Model for Multivariate Time Series Forecasting [28.587343014443576]
  vecTransは学習可能なベクトルを使って多変量相関をモデル化する軽量モジュールである。 WFMLossは効果的なプラグ・アンド・プレイの目標であり、既存の予測装置を一貫して改善している。
  論文  参考訳（メタデータ） (2026-01-20T09:23:10Z)
• Spectral-Window Hybrid (SWH) [0.0]
  極端な文脈へのシーケンスモデリングのスケーリングには、計算効率と表現表現率のバランスが必要である。 シーケンスモデリングを2つのテキスト並列ストリームに分離するアーキテクチャである textbfSpectral-Window Hybrid (SWH) を提案する。 SWHは、拡張シーケンスに対する効率的な線形スケーリングを実現しつつ、短いコンテキストで標準変換器のパープレキシティと一致することを示した。
  論文  参考訳（メタデータ） (2026-01-04T00:31:36Z)
• Less Is More: Generating Time Series with LLaMA-Style Autoregression in Simple Factorized Latent Spaces [29.349850914912846]
  離散化された量子化潜在空間上の自己回帰変換器と不整合分解を結合して時系列を生成する,シンプルで効果的なフレームワークであるFAR-TSを提案する。 LLaMAスタイルの自己回帰変換器はこれらのトークンシーケンスをモデル化し、任意の長さで高速かつ制御可能なシーケンスの生成を可能にする。
  論文  参考訳（メタデータ） (2025-11-07T04:15:38Z)
• FFT-Accelerated Auxiliary Variable MCMC for Fermionic Lattice Models: A Determinant-Free Approach with $O(N\log N)$ Complexity [52.3171766248012]
  量子多体系のシミュレーションを劇的に高速化するマルコフ連鎖モンテカルロ(MCMC)アルゴリズムを導入する。 我々は,量子物理学のベンチマーク問題に対するアルゴリズムの有効性を検証し,既知の理論結果を正確に再現する。 我々の研究は、大規模確率的推論のための強力なツールを提供し、物理学に着想を得た生成モデルのための道を開く。
  論文  参考訳（メタデータ） (2025-10-13T07:57:21Z)
• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための因果変換器Timer-XLを提案する。 大規模な事前トレーニングに基づいて、Timer-XLは最先端のゼロショット性能を達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Towards Long-Term Time-Series Forecasting: Feature, Pattern, and Distribution [57.71199089609161]
  長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。 トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。 LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-05T13:59:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。