論文の概要: Complex-valued Phase-Coherent Transformers

• arxiv url: http://arxiv.org/abs/2609.22415v1
• Date: Fri, 18 Sep 2026 17:39:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.385498
• Title: Complex-valued Phase-Coherent Transformers
• Title（参考訳）: 複素値位相コヒーレント変圧器
• Abstract要約: 複素数値変換器は、生の複素内積に対してソフトマックスの注意を引き継いだ。 L2-normalise query and key, so the score read their cosine similarity and ignores their magnitudes, and hold that score at order-one scale。 複素数値ニューラルネットワークでは従来見られなかった一般化の兆候として記録する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Complex-valued Transformers have inherited softmax attention over the raw complex inner product. Outside natively complex domains this standard form stays near chance, and no complex attention had been shown to correct it. We show that the match must be a scaled cosine score: L2-normalise queries and keys, so the score reads their cosine similarity and ignores their magnitudes, and hold that score at order-one scale. With this the same models train on four diagnostic tasks under two different gates; without the normalisation they stay at chance on ListOps and Needle under both gates and fall far below on the other two, and a normalised score placed at too small a scale fails as well. The resulting family of phase-coherent Transformers (\PCT) matches or exceeds the strongest real-valued baseline across long-range memory, positional retrieval, hierarchical reasoning, frequency-domain classification and physical complex signals; it shows no degradation up to depth 20; and its loss decreases log-linearly over a 61-fold range of parameters. A member of the family, complex screening combined with a phase-coherent recurrence, is the first genuinely complex-valued neural network to solve Path-X, with 91.6% of its trainable parameters complex-valued against 38.2% for S4. We record these as signs of generalisation not previously seen in complex-valued neural networks.
• Abstract（参考訳）: 複素数値変換器は、生の複素内積に対してソフトマックスの注意を引き継いだ。 ネイティブに複雑な領域以外では、この標準形式はチャンスに近づき、修正する複雑な注意が示されていない。 L2-normalise query and key, so the score read their cosine similarity and ignores their magnitudes, and hold that score at order-one scale。 同じモデルで、2つのゲートの下の4つの診断タスクをトレーニングします。正規化なしでは、両ゲートの下のListOpsとNeedleに留まり、他の2つよりもはるかに下位に落ちます。 その結果、位相コヒーレント変換器(\PCT)の族は、長距離メモリ、位置検索、階層的推論、周波数領域分類、物理複素信号にまたがる最強の実値ベースラインと一致または超え、深さ20まで劣化せず、その損失は61倍の範囲で対数直線的に減少する。 位相コヒーレント反復と組み合わされた複雑なスクリーニングであるファミリーのメンバーは、S4の38.2%に対して、トレーニング可能なパラメータの91.6%で、Path-Xを解く最初の真に複雑な数値のニューラルネットワークである。 複素数値ニューラルネットワークでは従来見られなかった一般化の兆候として記録する。

関連論文リスト

• Ananke: Contractive Torus Attractor Networks [0.4496256885343706]
  Anankeは、遅延表現を以前に構造化された製品トーラスにスキャフォールドする表現学習フレームワークである。 CTANは、自然な画像ベンチマークと挑戦的な内視鏡データセットにまたがる例外的なパラメータ効率を示す。
  論文  参考訳（メタデータ） (2026-09-21T15:08:25Z)
• Attention as Frustrated Synchronization [0.0]
  トークン状態がトーラス上の位相であり、全値経路がハーモニクス上の1つの学習された複素結合カーネルであり、1ステップ遅れであるフラストレート同期ネットワーク(FSN)を紹介する。 複雑な位相は静的な倉本坂口フラストレーション角、符号付きハーモニクスは反発する大道成分であり、各トークンをそれに付随するトークンの後継者に結合させる遅延項は、倉本坂口結合と代数的に同じである。
  論文  参考訳（メタデータ） (2026-06-17T05:18:01Z)
• When do complex-valued neural networks help? A study of representation, geometry, and optimization [1.4935265696074094]
  複雑な数値入力だけでは、複雑な算術が学習を改善するかどうかを判断できないことを示す。 合成RFタスク全体において、複素表現は有用であるが、普遍的に優れているものではない。 CVNNは、表現、対称性、最適化に依存している構造的帰納バイアスと見なされる。
  論文  参考訳（メタデータ） (2026-05-26T20:49:23Z)
• N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
  N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。 N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
  論文  参考訳（メタデータ） (2026-05-13T08:46:17Z)
• Complex-Valued Phase-Coherent Transformer [0.0]
  位相コヒーレント変換器 (PCT) は、L2正規化複合クエリキー類似性に対する実数値要素に依存しない滑らかなゲートである。 PCTは、標準のソフトマックストランスフォーマーと、その直接の複雑な値の両方を一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T07:38:52Z)
• Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation [0.0]
  2つの制御された設定で強みのみの仮説をテストする。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。 実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
  論文  参考訳（メタデータ） (2026-03-17T18:02:28Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Combiner: Full Attention Transformer with Sparse Computation Cost [142.10203598824964]
  計算の複雑さを低く保ちつつ、各注目ヘッドにフルアテンション機能を提供するコンバインダを提案する。 既存のスパース変圧器で使用されるスパースアテンションパターンのほとんどは、そのような分解設計をフルアテンションに刺激することができることを示す。 自己回帰的タスクと双方向シーケンスタスクの両方に関する実験的評価は、このアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2021-07-12T22:43:11Z)
• $O(n)$ Connections are Expressive Enough: Universal Approximability of Sparse Transformers [71.31712741938837]
  注意層ごとに$O(n)$接続しか持たないスパース変換器は、$n2$接続を持つ高密度モデルと同じ関数クラスを近似できることを示す。 また、標準NLPタスクにおいて、異なるパターン・レベルの違いを比較検討する。
  論文  参考訳（メタデータ） (2020-06-08T18:30:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。