論文の概要: Three-Phase Transformer

• arxiv url: http://arxiv.org/abs/2604.14430v1
• Date: Wed, 15 Apr 2026 21:23:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.615324
• Title: Three-Phase Transformer
• Title（参考訳）: 三相変圧器
• Abstract要約: Three-Phase Transformer (3PT)は、標準のSwiGLU + RMSNorm + RoPE + GQAバックボーン上のデコーダのみのトランスフォーマーの残留ストリーム構造である。 アーキテクチャはスクランブルと再配置の間の自己安定化平衡であり、ボルトオンモジュールではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Three-Phase Transformer (3PT), a residual-stream structural prior for decoder-only Transformers on a standard SwiGLU + RMSNorm + RoPE + GQA backbone. The hidden vector is partitioned into N equally-sized cyclic channels, each maintained by phase-respecting ops: a per-channel RMSNorm, a 2D Givens rotation between attention and FFN that rotates each channel by theta + i*(2*pi/N), and a head-count constraint aligning GQA heads with the partition. The architecture is a self-stabilizing equilibrium between scrambling and re-imposition, not a bolted-on module. The partition carves out a one-dimensional DC subspace orthogonal to the channels, into which we inject a fixed Gabriel's horn profile r(p) = 1/(p+1) as an absolute-position side-channel composing orthogonally with RoPE's relative-position rotation. The canonical N=3 borrows its metaphor from balanced three-phase AC, where three sinusoids 120 degrees apart sum to zero with no anti-correlated pair. At 123M parameters on WikiText-103, 3PT achieves -7.20% perplexity (-2.62% bits-per-byte) over a matched RoPE-Only baseline at +1,536 parameters (0.00124% of total), with 1.93x step-count convergence speedup (1.64x wall-clock). N behaves as a parameter-sharing knob rather than a unique optimum: at 5.5M an N-sweep over {1,2,3,4,6,8,12} is near-monotone with N=1 winning; at 123M a three-seed sweep finds N=3 and N=1 statistically indistinguishable. The load-bearing mechanism is the channel-partitioned residual stream, per-block rotation, per-phase normalization, and horn DC injection. We characterize (a) self-stabilization of the geometry without explicit enforcement, a novel instance of the conservation-law framework for neural networks; (b) a U-shaped depth profile of rotation-angle drift at 12 layers; (c) orthogonal composition with RoPE, attention, and FFN.
• Abstract（参考訳）: 標準のSwiGLU + RMSNorm + RoPE + GQAバックボーン上で,デコーダのみのトランスフォーマに先行する残差ストリーム構造である3相トランス(3PT)を提案する。 隠れたベクトルは、それぞれ位相参照のOPS(英語版)で維持されるN個の大環状チャネルに分割される:チャンネルごとのRMSNorm、2Dのアテンション間の回転と、theta + i*(2*pi/N)で各チャネルを回転させるFFNと、GQAヘッドとパーティションを整列するヘッドカウント制約である。 アーキテクチャはスクランブルと再配置の間の自己安定化平衡であり、ボルトオンモジュールではない。 分割はチャネルに直交する1次元の直交部分空間を彫り出し、そこで固定ガブリエルの角プロファイル r(p) = 1/(p+1) を RoPE の相対位置回転と直交する絶対位置側チャネルとして注入する。 標準N=3は平衡三相交流(英語版)から比喩を借用し、3つの正弦波が120度離れてゼロになるが、反相関対は存在しない。 WikiText-103の123Mパラメータでは、3PTは一致したRoPE-Onlyベースラインの+1,536パラメータ(全体の0.00124%)に対して7.20%のパープレキシティ(2.62%ビット/バイト)を達成する。 N は一意の最適化ではなくパラメータ共有ノブとして振る舞う:5.5M では {1,2,3,4,6,8,12} 上の N-スウィープは N=1 の勝利でほぼ単調であり、123M では 3 列のスイープは N=3 と N=1 の統計的に区別できない。 負荷吸収機構は、チャネル分割残流、ブロックごとの回転、フェーズごとの正規化、ホーン直流注入である。 特徴 (a) ニューラルネットワークの保存法枠組の新たな例である明示的強制を伴わない幾何学の自己安定化 (b)12層の回転角ドリフトのU字型深度プロファイル c) RoPE, attention, FFNによる直交組成物。

関連論文リスト

• Flash EQ-Linear: Accelerating Equivariant Linear Layers via Group-wise Discrete Fourier Transform [65.89510337046077]
  等変ネットワークは、ウェイトシェアリングを通じて構造的先行として幾何学的対称性を埋め込む。 既存の実装では、構造化された重みを高密度な行列に展開し、それらを一般的な高密度なカーネルにディスパッチする。 これは、同変ネットワークが3つの軸を同時に持つ非同変ネットワークを厳密に支配するのは、これが初めてである。
  論文  参考訳（メタデータ） (2026-07-23T12:45:21Z)
• Do Sheaf Neural Networks Use Holonomy? A Measure--Intervene--Control Study [0.17188280334580197]
  トレーニングされた三角形ループ製品の最初のベース非依存測定を行い,回転,ストーク空間面積,方向を分離する。 学習済みのSO(2)輸送をアイデンティティに置き換えたトレーニングセットサイズ実験全体において、テストエラーが急激に増加し、完全な学習された接続に対する訓練後の感度が確立される。 グラフ平均隆起予測器はより正確であり、対角写像も改善され、固定度グラフはトレーニング平均予測器より優れることなく回転が増大する。
  論文  参考訳（メタデータ） (2026-07-21T18:57:22Z)
• Structural Kolmogorov-Arnold Convolutions: Learnable Function on the Values or the Filter Shape as Parameter-Efficient Alternative to Per-Edge Convolutional KANs [76.06235645266621]
  Convolutional Kolmogorov--Arnold Networks (KAN) は、畳み込みカーネルの固定重みを学習可能な単変数関数に置き換える。 学習可能な関数は、各エッジよりも畳み込みのエンファン構造に置かれる方がよいと我々は主張する。
  論文  参考訳（メタデータ） (2026-06-23T10:00:26Z)
• CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability [0.0]
  CART(Context-Anchored Recurrent Transformer)は、パラメータ効率のよい言語モデルで、1つの共有コアブロックをR倍の深さで再利用する。 我々は1つのコンシューマGPU上でCARTを2段階に分けて評価した: 64-configuration screen at 3,000 steps, then 36 configurations (P=6, R in 6,8,10, three seed) training for 30500 steps (1B tokens)。 256,512,768,1024: 事前深さPはループ数Rを支配し、Rのステージ1ランクはフルトレーニング時に逆になる(R=6は最高になる)。
  論文  参考訳（メタデータ） (2026-05-31T23:26:27Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• Scale-Equivariant Generative Forecasting: Weight-Tied Dilated Convolutions, Wavelet Scattering Inputs, and Spectral-Consistency Training for Self-Similar Time Series [0.0]
  1次元因果ネットワークの離散スケール等式を正確に定義する。 ダイアディック拡張は、カーネル重みがレベル間で共有されるような拡張畳み込みスタックで可換であることが証明される。 30年間のS&P 500日間のログリターンで、SE-WaveNetのサンプルは、Allan-Varianceトップ25宇宙上での経験的なスケール・崩壊の診断を再現した。
  論文  参考訳（メタデータ） (2026-05-17T18:21:30Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Heterogeneous Connectivity in Sparse Networks: Fan-in Profiles, Gradient Hierarchy, and Topological Equilibria [0.0]
  Profiled Sparse Networks (PSN) は、一様接続を決定論的で不均一なファンインプロファイルに置き換える。 90%の間隔で、全ての静的プロファイルは、データセットの密度の高いベースラインの0.2-0.6%以内の精度を達成する。 この結果は、スパーシリティレベル(80-99.9%)、プロファイル形状(8つのパラメトリック族、対数正規、パワーロー)、ファンイン係数が0から2.5である。
  論文  参考訳（メタデータ） (2026-04-12T10:04:48Z)
• Barenco gate implementation using driven two- and three-qubit spin chains [1.9078991171384019]
  本稿では,短軸スピンチェーンを用いたバレンコ型マルチキュービット制御ゲートの実装プロトコルを提案する。 結合強度と駆動パラメータの明示的な条件を導出し、各部分空間における時間進化演算子に対して閉形式表現を提供し、演算子忠実度を用いて実装の質を特徴付ける。 数値シミュレーションにより、このプロトコルは広いパラメータ範囲で高い忠実性を実現し、スピンチェーンプラットフォームにおける量子情報処理の堅牢性と適合性を実証している。
  論文  参考訳（メタデータ） (2026-03-02T20:56:24Z)
• Robust inverse material design with physical guarantees using the Voigt-Reuss Net [0.0]
  本稿では, ハード物理保証を伴う前方および逆機械的均質化のためのスペクトル正規化サロゲートを提案する。 バイファシック・マイクロ構造のオープンデータセット上の3次元線形弾性では、完全に接続されたVoigt-Reussネットは、236のイソトロピーインディスクリプタを持つFFTベースのラベルでトレーニングされている。 全体として、Voigt-Reussネットは、大バッチで制約に一貫性のある逆設計で正確で物理的に許容できる前方予測を統一する。
  論文  参考訳（メタデータ） (2025-11-14T15:17:37Z)
• Tensor Decomposition Networks for Fast Machine Learning Interatomic Potential Computations [48.46721044282335]
  テンソル分解ネットワーク(TDN)は、計算処理の劇的な高速化と競合する性能を実現する。 1億5500万のDFT計算スナップショットを含む分子緩和データセットPubChemQCRのTDNを評価した。 その結果,TDNは計算処理の劇的な高速化と競合する性能を示した。
  論文  参考訳（メタデータ） (2025-07-01T18:46:27Z)
• Rotation-Invariant Transformer for Point Cloud Matching [42.5714375149213]
  我々は,回転不変変換器であるRoITrを導入し,点クラウドマッチングタスクにおけるポーズ変動に対処する。 本稿では,自己認識機構によって学習した,回転不変なクロスフレーム空間認識を備えたグローバルトランスフォーマーを提案する。 RoITrは、Inlier RatioとRegistration Recallの点で、既存のメソッドを少なくとも13と5のパーセンテージで上回っている。
  論文  参考訳（メタデータ） (2023-03-14T20:55:27Z)
• Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for Medical Image Segmentation [25.62587471067468]
  RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。 人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
  論文  参考訳（メタデータ） (2023-03-10T08:38:34Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)
• Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
  本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。 RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
  論文  参考訳（メタデータ） (2020-03-04T02:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。