論文の概要: Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention

• arxiv url: http://arxiv.org/abs/2609.24797v1
• Date: Mon, 21 Sep 2026 15:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.364171
• Title: Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
• Title（参考訳）: 複雑KDA:キミデルタ注意の表現力の理解と向上
• Abstract要約: 我々は,Kim Delta Attentionが単一デルタルール変換とチャネルワイドゲートから供給される第2の外挿を組み合わせることで,2次元回転を実現することを示す。 我々はCKDAの表現性を特徴付け、すべての対角+ランクワン行列がCKDA遷移行列であることを示す。
• 参考スコア（独自算出の注目度）: 84.18724756491505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear RNNs based on the delta-rule enable efficient sequence modeling, but their linear updates with a low-rank correction constrain their expressivity. Prior work has shown that composing two delta-rule transitions in a single recurrent update can model a 2D rotation, but this increases the rank and the cost of the updates compared to a single transition. We show that Kimi Delta Attention (KDA) can realize 2D rotations by combining a single delta-rule transformation with a second reflection supplied by its channel-wise gate. This requires extending the parameter ranges of KDA by combining two existing range extensions: allowing gates in $[-1,1]$ and the delta-rule coefficient $β$ in $[0,2]$. We call the resulting model Complex KDA (CKDA). It preserves KDA's stability and efficiency, with transitions that remain diagonal-plus-rank-one and non-expansive, while reaching the state-tracking expressivity of DeltaProduct$_2$. We characterize the expressivity of CKDA and prove that every orthogonal diagonal-plus-rank-one matrix is exactly a CKDA transition matrix. A single CKDA layer can track every finite group isomorphic to a subgroup of $\mathrm{SO}(3)$, and many state-tracking results use one fewer layer for CKDA compared to other diagonal-plus-rank-one Linear RNNs. Empirically, combining both extensions yields the strongest length extrapolation among tested KDA range settings on $S_3$, $S_4$, and periodic audio continuation. In language modeling, CKDA outperforms Transformers and other linear RNNs, obtains similar results to a KDA baseline, and shows promising scaling behavior. Our code is open source at https://github.com/OpenEuroLLM/ComplexKDA and our models are available at https://huggingface.co/collections/openeurollm/complexkda.
• Abstract（参考訳）: デルタルールに基づく線形RNNは効率的なシーケンスモデリングを実現するが、低ランク補正による線形更新は表現性を制約する。 以前の研究では、単一のリカレントアップデートで2つのデルタルル遷移を構成することは、2次元回転をモデル化できることが示されているが、これは単一の遷移と比較して、更新のランクとコストを増大させる。 我々は,KDA(Kim Delta Attention)が単一デルタルール変換とチャネルワイドゲートから供給される第2反射を組み合わせた2次元回転を実現することを示す。 ゲートを$[-1,1]$とデルタルール係数$β$ in $[0,2]$の2つの既存の範囲拡張を組み合わせることで、KDAのパラメータ範囲を拡張する必要がある。 結果のモデルを Complex KDA (CKDA) と呼ぶ。 これはKDAの安定性と効率を保ち、デルタプロダクト$_2$の状態追跡表現性に到達しながら、対角+ランクオンと非膨張の遷移を保っている。 我々はCKDAの表現性を特徴づけ、すべての直交対角+ランクオン行列がまさにCKDA遷移行列であることを証明した。 単一のCKDA層は、$\mathrm{SO}(3)$ の部分群に同型なすべての有限群を追跡することができ、多くの状態追跡結果は、他の対角 + ランク 1 の線形 RNN と比較して、CKDA に対して1つの少ない層を使用する。 実験的に、両方の拡張を組み合わせることで、$S_3$、$S_4$、周期的なオーディオ継続に関するテストされたKDAレンジ設定の中で、最も長い外挿が得られる。 言語モデリングにおいて、CKDAはトランスフォーマーや他の線形RNNよりも優れており、KDAベースラインと類似した結果を得て、有望なスケーリング動作を示す。 私たちのコードはhttps://github.com/OpenEuroLLM/ComplexKDAでオープンソースであり、私たちのモデルはhttps://huggingface.co/collections/openeurollm/complexkdaで利用可能です。

関連論文リスト

• Kaczmarz Linear Attention [11.650692583508663]
  リニアリカレントモデルはコンテキストを固定サイズの状態に圧縮し、情報を忘れ、書き、編集するルールを中心的な設計問題とする。 Gated DeltaNet (GDN) は、ゲート状態崩壊とデルタルール残差書き込みを結合し、学習可能な係数を用いて、忘れと更新の規模をバランスさせる。 状態形状,ゲート,リニアリカレンス,チャンクワイズ並列アルゴリズムを保存するGDNの1スカラー修正であるKaczmarz Linear (KLA)を提案する。
  論文  参考訳（メタデータ） (2026-05-09T01:07:01Z)
• Linear-Readout Floors and Threshold Recovery in Computation in Superposition [0.0]
  重ね合わせにおける計算に対する最近の2つのアプローチは、異なるキャパシティレジームに到達している。 これらの結果は異なるインターフェース不変性を維持するため矛盾しない。 Hnniテンプレート以外のロバストな非線形リセットは開のままである。
  論文  参考訳（メタデータ） (2026-05-02T02:11:31Z)
• Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences [51.38664601405696]
  我々はDeltaNet,GDN,KDAのプレコンディション付き変種を,効率的なチャンクワイズ並列アルゴリズムとともに導入する。 予備条件付きデルタルールの繰り返しは,340M,1Bスケールでの合成リコールベンチマークと言語モデリングにおいて一貫した性能向上をもたらす。
  論文  参考訳（メタデータ） (2026-04-22T21:38:25Z)
• FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control [31.409429284036776]
  線形アテンション機構はソフトマックスアテンションに代わる有望な代替手段として出現している。 FG$2$-GDNを導入し、スカラー$_t$をチャネルワイドベクトルに置き換える。 実験により、FG$2$-GDNとその変種は連想的リコールと長文理解を改善した。
  論文  参考訳（メタデータ） (2026-04-21T03:15:28Z)
• Dimensional Criticality at Grokking Across MLPs and Transformers [2.652953665748039]
  異なる力学系間の急激な遷移は、複雑なシステムの目印である。 オフライン雪崩探査機 textbfTDU-OFC (Thresholded Diffusion Update--Olami-Feder-Christensen) を紹介する。 モジュラー加算と XOR で訓練された一般化を訓練したトランスフォーマーは、拡散ベースラインの局所的交差をD=1$で発見する。
  論文  参考訳（メタデータ） (2026-04-06T13:43:20Z)
• DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products [60.72655477351486]
  リニアリカレントニューラルネットワーク(線形RNN)は、シーケンスモデリングのためのトランスフォーマーの競合代替手段として登場した。 既存のアーキテクチャは、表現性と効率の基本的なトレードオフに直面しており、状態遷移行列の構造によって規定されている。
  論文  参考訳（メタデータ） (2025-02-14T16:59:05Z)
• FRMDN: Flow-based Recurrent Mixture Density Network [3.007949058551534]
  本稿では,時間ステップ毎に非線形変換対象系列上にガウス混合モデルを定義することにより,繰り返し混合密度ネットワークを一般化する。 このモデルにより,ログライクリフで測定した画像列の適合性が著しく向上することがわかった。 また,提案手法を一部の音声・画像データに適用し,そのモデルがログ類似度で他の最先端手法よりも優れたモデリング能力を有することを示した。
  論文  参考訳（メタデータ） (2020-08-05T14:05:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。