CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing
Abstractの概要
CRISPは、従来の動的スパースアテンションシステムで特定された2つの限界に対処する、ロングコンテキスト向けのトレーニングフリーなスパースプリフィリング手法です。第一に、本論文はルーティング決定がプロキシアテンションマップの構造から直接推測できると主張し、イェンセン・シャノン・ダイバージェンスに基づくルーティングを、シンク位置および最新性位置にわたる構造的質量測定値であるC_structに置き換えています。第二に、コンテキスト長が増大するにつれて累積カバレッジ閾値がシンク質量内で停止するか、あるいはロングテールの背景ノイズを蓄積してしまう「マス・クリフ（mass cliff）」現象をソフトマックス後に形式化しています。そのため本手法は、拡散ヘッドに対してプーリング推定パスを保持しつつ、垂直・斜線ヘッドにはシンクを意識した閾値処理を採用し、InfiniteBench、RULER、LongBenchにわたるLlama-3.1-8BおよびQwen2.5-7Bを用いた実験で精度とアテンション単体レイテンシのスケーリングを評価しています。
新規性
本論文の主な新規性は、構造的ルーティングプロキシであるC_structと、累積カバレッジ目標ではなくソフトマックス後の質量階層に基づいて設計された理論的根拠に基づくシンク認識型閾値の組み合わせにあります。また、厳格な累積閾値が長いコンテキスト長においてO(n)の背景ノイズの蓄積を引き起こす可能性があるという理論的議論も提示しています。
成果
実証面では、C_structがベースラインルーターで使用される追加のプーリング行列乗算やKLダイバージェンス計算を回避しながら、Llamaで94.0%、Qwenで88.1%の一致率でJSDルーティング決定を再現しました。各ベンチマークにおいてCRISPは全体として最も強力なスパース手法として報告されており、FlexPrefillベースラインに対して最大+28.0パーセンテージポイントの検索性能向上を示し、一部の検索重視の設定では密アテンションと同等以上の結果を達成しました。最大512kトークンのアテンション単体レイテンシテストでは、推奨設定で最大5.30倍、最速構成で最大5.40倍の高速化を達成し、より長いコンテキストでより大きな優位性を示しました。
論文の注目点
- CRISPは、間接的なJSDベースのルーティングを、プロキシマップ内にすでに存在するシンク位置および最新性アンカー位置のアテンション質量を直接測定するC_structへと置き換える。
- 本論文はソフトマックス後のマス・クリフを特定し、累積カバレッジ閾値処理にはシンクのみの崩壊とO(n)の残留ノイズ蓄積という2つの構造的障害モードがあると主張する。
- 2つのモデルファミリーと複数のロングコンテキストベンチマークにおいて、CRISPは従来のスパースベースラインよりも検索指向の性能を向上させ、FlexPrefillよりも強力なロングコンテキストのレイテンシスケーリングを示す。