論文の概要: Three-Phase Transformer

• arxiv url: http://arxiv.org/abs/2604.14430v1
• Date: Wed, 15 Apr 2026 21:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.615324
• Title: Three-Phase Transformer
• Title（参考訳）: 三相変圧器
• Authors: Mohammad R. Abu Ayyash,
• Abstract要約: Three-Phase Transformer (3PT)は、標準のSwiGLU + RMSNorm + RoPE + GQAバックボーン上のデコーダのみのトランスフォーマーの残留ストリーム構造である。 アーキテクチャはスクランブルと再配置の間の自己安定化平衡であり、ボルトオンモジュールではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Three-Phase Transformer (3PT), a residual-stream structural prior for decoder-only Transformers on a standard SwiGLU + RMSNorm + RoPE + GQA backbone. The hidden vector is partitioned into N equally-sized cyclic channels, each maintained by phase-respecting ops: a per-channel RMSNorm, a 2D Givens rotation between attention and FFN that rotates each channel by theta + i*(2*pi/N), and a head-count constraint aligning GQA heads with the partition. The architecture is a self-stabilizing equilibrium between scrambling and re-imposition, not a bolted-on module. The partition carves out a one-dimensional DC subspace orthogonal to the channels, into which we inject a fixed Gabriel's horn profile r(p) = 1/(p+1) as an absolute-position side-channel composing orthogonally with RoPE's relative-position rotation. The canonical N=3 borrows its metaphor from balanced three-phase AC, where three sinusoids 120 degrees apart sum to zero with no anti-correlated pair. At 123M parameters on WikiText-103, 3PT achieves -7.20% perplexity (-2.62% bits-per-byte) over a matched RoPE-Only baseline at +1,536 parameters (0.00124% of total), with 1.93x step-count convergence speedup (1.64x wall-clock). N behaves as a parameter-sharing knob rather than a unique optimum: at 5.5M an N-sweep over {1,2,3,4,6,8,12} is near-monotone with N=1 winning; at 123M a three-seed sweep finds N=3 and N=1 statistically indistinguishable. The load-bearing mechanism is the channel-partitioned residual stream, per-block rotation, per-phase normalization, and horn DC injection. We characterize (a) self-stabilization of the geometry without explicit enforcement, a novel instance of the conservation-law framework for neural networks; (b) a U-shaped depth profile of rotation-angle drift at 12 layers; (c) orthogonal composition with RoPE, attention, and FFN.
• Abstract（参考訳）: 標準のSwiGLU + RMSNorm + RoPE + GQAバックボーン上で,デコーダのみのトランスフォーマに先行する残差ストリーム構造である3相トランス(3PT)を提案する。 隠れたベクトルは、それぞれ位相参照のOPS(英語版)で維持されるN個の大環状チャネルに分割される:チャンネルごとのRMSNorm、2Dのアテンション間の回転と、theta + i*(2*pi/N)で各チャネルを回転させるFFNと、GQAヘッドとパーティションを整列するヘッドカウント制約である。 アーキテクチャはスクランブルと再配置の間の自己安定化平衡であり、ボルトオンモジュールではない。 分割はチャネルに直交する1次元の直交部分空間を彫り出し、そこで固定ガブリエルの角プロファイル r(p) = 1/(p+1) を RoPE の相対位置回転と直交する絶対位置側チャネルとして注入する。 標準N=3は平衡三相交流(英語版)から比喩を借用し、3つの正弦波が120度離れてゼロになるが、反相関対は存在しない。 WikiText-103の123Mパラメータでは、3PTは一致したRoPE-Onlyベースラインの+1,536パラメータ(全体の0.00124%)に対して7.20%のパープレキシティ(2.62%ビット/バイト)を達成する。 N は一意の最適化ではなくパラメータ共有ノブとして振る舞う:5.5M では {1,2,3,4,6,8,12} 上の N-スウィープは N=1 の勝利でほぼ単調であり、123M では 3 列のスイープは N=3 と N=1 の統計的に区別できない。 負荷吸収機構は、チャネル分割残流、ブロックごとの回転、フェーズごとの正規化、ホーン直流注入である。 特徴 (a) ニューラルネットワークの保存法枠組の新たな例である明示的強制を伴わない幾何学の自己安定化 (b)12層の回転角ドリフトのU字型深度プロファイル c) RoPE, attention, FFNによる直交組成物。

関連論文リスト

• Heterogeneous Connectivity in Sparse Networks: Fan-in Profiles, Gradient Hierarchy, and Topological Equilibria [0.0]
  Profiled Sparse Networks (PSN) は、一様接続を決定論的で不均一なファンインプロファイルに置き換える。 90%の間隔で、全ての静的プロファイルは、データセットの密度の高いベースラインの0.2-0.6%以内の精度を達成する。 この結果は、スパーシリティレベル(80-99.9%)、プロファイル形状(8つのパラメトリック族、対数正規、パワーロー)、ファンイン係数が0から2.5である。
  論文  参考訳（メタデータ） (2026-04-12T10:04:48Z)
• Barenco gate implementation using driven two- and three-qubit spin chains [1.9078991171384019]
  本稿では,短軸スピンチェーンを用いたバレンコ型マルチキュービット制御ゲートの実装プロトコルを提案する。 結合強度と駆動パラメータの明示的な条件を導出し、各部分空間における時間進化演算子に対して閉形式表現を提供し、演算子忠実度を用いて実装の質を特徴付ける。 数値シミュレーションにより、このプロトコルは広いパラメータ範囲で高い忠実性を実現し、スピンチェーンプラットフォームにおける量子情報処理の堅牢性と適合性を実証している。
  論文  参考訳（メタデータ） (2026-03-02T20:56:24Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for Medical Image Segmentation [25.62587471067468]
  RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。 人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
  論文  参考訳（メタデータ） (2023-03-10T08:38:34Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)
• Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
  本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。 RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
  論文  参考訳（メタデータ） (2020-03-04T02:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。