論文の概要: Cubit: Token Mixer with Kernel Ridge Regression

• arxiv url: http://arxiv.org/abs/2605.06501v1
• Date: Thu, 07 May 2026 16:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.984991
• Title: Cubit: Token Mixer with Kernel Ridge Regression
• Title（参考訳）: Cubit: カーネルリッジ回帰によるトークンミキサー
• Abstract要約: 変換器のアテンションモジュールは,Nadaraya-Watsonレグレッションの実行と解釈できることを示す。 Kernel Ridge Regression (KRR)を活用する次世代アーキテクチャCubitを提案する。 我々は、KRRベースのアーキテクチャであるCubitが、バニラ変換器よりも強力な数学的基盤を提供すると主張している。
• 参考スコア（独自算出の注目度）: 30.306738326416223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since its introduction in 2017, the Transformer has become one of the most widely adopted architectures in modern deep learning. Despite extensive efforts to improve positional encoding, attention mechanisms, and feed-forward networks, the core token-mixing mechanism in Transformers remains attention. In this work, we show that the attention module in Transformers can be interpreted as performing Nadaraya-Watson regression, where it computes similarities between tokens and aggregates the corresponding values accordingly. Motivated by this perspective, we propose Cubit, a potential next-generation architecture that leverages Kernel Ridge Regression (KRR), while the vanilla Transformer relies on Nadaraya-Watson regression. Specifically, Cubit modifies the classical attention computation by incorporating the closed-form solution of KRR, combining value aggregation through kernel similarities with normalization via the inverse of the kernel matrix. To improve the training stability, we further propose the Limited-Range Rescale (LRR), which rescales the value layer within a controlled range. We argue that Cubit, as a KRR-based architecture, provides a stronger mathematical foundation than the vanilla Transformer, whose attention mechanism corresponds to Nadaraya-Watson regression. We validate this claim through comprehensive experiments. The experimental results suggest that Cubit may exhibit stronger long-sequence modeling capability. In particular, its performance gain over the Transformer appears to increase as the training sequence length grows.
• Abstract（参考訳）: 2017年に導入されて以来、Transformerは現代のディープラーニングにおいて最も広く採用されているアーキテクチャの1つとなっている。 位置符号化、アテンション機構、フィードフォワードネットワークの改善に多大な努力を払っているが、トランスフォーマーのコアトークン混合機構は注目されている。 本研究では,トランスフォーマーのアテンションモジュールをNadaraya-Watsonレグレッションの実行と解釈できることを示す。 この観点から、我々は、KRR(Kernel Ridge Regression)を利用する次世代アーキテクチャであるCubitを提案し、一方、バニラ変換器はNadaraya-Watson回帰に依存する。 特に、CubitはKRRの閉形式解を取り入れ、カーネル類似性による値集約とカーネル行列の逆数による正規化を組み合わせることで、古典的な注意計算を修正する。 トレーニング安定性を向上させるために,制御範囲内の値層を再スケールするリミテッドランジ・リスケール(LRR)を提案する。 我々は、KRRベースのアーキテクチャであるCubitが、ナダラヤ・ワトソン回帰に対応するバニラ変換器よりも強力な数学的基礎を提供すると主張している。 我々はこの主張を総合的な実験を通じて検証する。 実験結果から,Cubitはより強力な長周期モデリング能力を示す可能性が示唆された。 特に、トレーニングシーケンスの長さが大きくなるにつれて、Transformerよりもパフォーマンスが向上する。

関連論文リスト

• Transformers Can Implement Preconditioned Richardson Iteration for In-Context Gaussian Kernel Regression [13.818160005611752]
  ガウスカーネルを用いたインコンテキストカーネルリッジ回帰(KRR)について検討する。 我々は,標準ソフトマックスアテンション変換器が前方通過時のKRR予測器を近似可能であることを示す。 その誤差プロファイルは、事前条件付きリチャードソン反復と最も一貫して一致していることが分かる。
  論文  参考訳（メタデータ） (2026-05-08T20:50:58Z)
• Converting Transformers into DGNNs Form [3.7468283401703797]
  ダイグラフフーリエ変換に基づく合成ユニタリグラフ畳み込みを導入する。 Converterと呼ぶ結果のモデルは、トランスフォーマーをダイレクトグラフニューラルネットワーク形式に効果的に変換する。 我々は、Long-Range Arenaベンチマーク、Long-Range Arena分類、DNAシークエンスに基づく分類でConverterを検証した。
  論文  参考訳（メタデータ） (2025-02-01T22:44:46Z)
• Autoregressive + Chain of Thought = Recurrent: Recurrence's Role in Language Models' Computability and a Revisit of Recurrent Transformer [29.970200877158764]
  ニューラルモデルにおけるリカレント構造が推論能力と計算可能性に与える影響について検討する。 我々は、CoTアプローチが繰り返し計算を模倣し、自己回帰と再発の間のブリッジとして機能する方法について光を当てた。
  論文  参考訳（メタデータ） (2024-09-14T00:30:57Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• RWKV: Reinventing RNNs for the Transformer Era [54.716108899349614]
  本稿では,変換器の効率的な並列化学習とRNNの効率的な推論を組み合わせた新しいモデルアーキテクチャを提案する。 モデルを最大14億のパラメータにスケールし、トレーニングされたRNNの中では最大で、同じサイズのTransformerと同等のRWKVのパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2023-05-22T13:57:41Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
  本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2021-09-07T17:08:24Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。