Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
Abstractの概要
本論文は、Kimi Delta Attention（KDA）の表現能力の限界を分析し、ゲート範囲を[-1, 1]に、デルタルール係数を[0, 2]に拡張したバリアントであるComplex KDA（CKDA）を提案しています。中心となる理論的主張は、これら2つの拡張により、単一の対角行列＋ランク1の再帰的遷移が非拡大かつ効率的でありながら、複素共役固有値対を含む平面回転を実現できるという点です。著者らは、直交するすべての対角行列＋ランク1行列がCKDAの遷移として表現可能であることを証明し、特定の仮定の下で有限群、正規言語、重み付き有限オートマトンに対する状態追跡の表現力に関する結果を導出しています。実験では、状態追跡タスク、周期的波形の継続生成、実装スループット、言語モデリングを評価し、観察された挙動を提案された回転メカニズムと関連付けています。
新規性
主な新規性は、KDAのチャネルごとのゲートが2つ目の鏡映を提供できることを示し、符号付きゲートと拡張されたbeta範囲によって、複数のデルタルール遷移を合成することなく単一のKDA型更新で2次元回転を実装できることを明らかにした点にあります。また本研究は、直交するすべての対角行列＋ランク1行列がこの形式で正確に実現可能であることを証明し、CKDA遷移の特徴付けを提供しています。
成果
本論文は、対角行列＋ランク1かつ非拡大な遷移を維持しつつ、CKDAが複数の設定においてDeltaProduct-2の状態追跡表現力に匹敵すること、および任意の有限群の語の問題に対して3層のCKDAで十分であることを証明しています。実証面では、CKDAはS3、S4、および周期的波形継続において検証されたKDA範囲設定の中で最も高い長さ外挿性を示し、標準的なKDAスループットの約96〜97%を維持しました。さらに13億パラメータの言語モデリングにおいて、CKDAはKDAベースラインと同等の性能を達成し、本研究で報告されたTransformerや複数の線形RNNベースラインを上回りました。
論文の注目点
- CKDAはKDAを符号付きチャネル別ゲートおよび[0, 2]のbetaへと拡張し、非拡大な遷移において単一ステップの平面回転と最大1組の複素共役固有値対を可能にする。
- 理論面ではCKDAの遷移族を特徴付け、直交する対角行列＋ランク1行列の正確な実現を証明するとともに、設定された仮定の下でS5に対する1層の限界を含む有限群および多層状態追跡の表現力限界を確立した。
- 実験により理論と実践を結び付け、学習されたCKDAヘッドが符号に近いゲート、2に近いbeta値、複素スペクトルを発達させることを示し、ベースラインに近いKDAの効率を維持しながら記号タスクや周期的タスクでの長距離外挿を向上させた。
参考リンク
- arXiv: https://arxiv.org/abs/2609.24797v1
- Fugu-MT: https://fugumt.com/fugumt/paper_check/2609.24797v1
- Hugging Face Papers: https://huggingface.co/papers/2609.24797