論文の概要: CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing
- arxiv url: http://arxiv.org/abs/2609.01925v1
- Date: Tue, 01 Sep 2026 22:49:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.005763
- Title: CRISP: Cliff-awaRe Input-adaptive Sparse Prefilling with Structural-Mass-Motivated Routing
- Title（参考訳）: CRISP: Cliff-awaRe 入力適応スパース
- Abstract要約: 本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
ルーティング決定は、プロキシアテンションマップの構造から直接読み取ることができることを示す。
ソフトマックス後の質量崖を定式化し、厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
- 参考スコア（独自算出の注目度）: 90.63350360476294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The attention prefilling phase of long-context LLM inference scales quadratically, making self-attention a severe computational bottleneck. Traditional sparse attention methods mitigate this through fixed patterns or offline profiling, but lack the flexibility to adapt to input-dependent attention structure. Recent dynamic methods address this by routing heads to sparse patterns in real-time, but rely on indirect routing proxies with overhead and budget allocation mechanisms that overlook the post-softmax mass hierarchy. We present CRISP (Cliff-awaRe Input-adaptive Sparse Prefilling), which identifies and addresses two structural challenges in this dynamic routing paradigm. First, we show that the routing decision can be read directly off the structure of the proxy attention map. We replace the Jensen-Shannon Divergence (JSD) routing with C_struct, a structural proxy that measures mass at Vertical-Slash compatible positions and reproduces JSD's routing decisions while eliminating both the pooled matmul and subsequent KL divergence overhead. Second, we formalize the post-softmax mass cliff and demonstrate theoretically that strictly cumulative coverage thresholds accumulate O(n) background noise at long contexts. CRISP navigates this via a sink-aware threshold grounded in the noise floor. Empirically, across InfiniteBench, RULER and LongBench on two model families, CRISP is the strongest sparse method overall and matches or exceeds exact dense attention on retrieval-heavy benchmarks, recovering up to +28.0 pp on retrieval tasks over baselines and achieving up to a 5.30x attention speedup at 512k tokens, driven primarily by our O(n) noise elimination during selection while preserving structural integrity.
- Abstract（参考訳）: 長文LLM推論の注意前処理フェーズは、二次的にスケールし、自己注意を深刻な計算ボトルネックにする。
従来のスパースアテンション手法は、固定パターンやオフラインプロファイリングを通じてこれを緩和するが、入力依存のアテンション構造に適応する柔軟性は欠如している。
最近の動的手法は、ヘッドをリアルタイムでスパースパターンにルーティングすることでこの問題に対処するが、間接的なルーティングプロキシと、ソフトマックス後のマス階層を見渡すためのオーバーヘッドと予算配分機構に依存している。
本稿ではCRISP(Cliff-awaRe Input-adaptive Sparse Prefilling)を提案する。
まず、ルーティング決定をプロキシアテンションマップの構造から直接読み取ることができることを示す。
我々は、Jensen-Shannon Divergence (JSD)ルーティングをC_structに置き換える。これは、垂直スラッシュ対応位置における質量を測定する構造的プロキシで、JSDのルーティング決定を再現し、プールされたマトゥールとその後のKL分散オーバーヘッドを除去する。
第2に,ソフトマックス後の質量崖を定式化し,厳密な累積被覆閾値が長い文脈でO(n)バックグラウンドノイズを蓄積することを理論的に示す。
CRISPは、ノイズフロアに固定されたシンク認識しきい値を通じてこれをナビゲートする。
実験的に、InfiniteBench、RULER、LongBenchを2つのモデルファミリーで比較すると、CRISPは全体として最強のスパース法であり、検索量の多いベンチマークに対して正確な注意を払って、ベースライン上の検索タスクで+28.0ppを回復し、512kのトークンで最大5.30倍の注意速度を達成し、構造的整合性を維持しながらO(n)ノイズの除去によって主に駆動される。
関連論文リスト
- Accelerating Unified Multimodal Models with Core-Expansion Routing and Unified Computation Scheduling [61.28599393707943]
統一マルチモーダルモデルは、理解と生成を共同でサポートするが、トークン、レイヤ、生成タイムステップ間でかなりの冗長な計算を行う。
本稿では,タスク共有型コアスコアラと進行条件付き生成拡張を提案し,生成分解とクロスタスクコアアライメントを最適化した。
2つの代表的UMMアーキテクチャの実験では、両タスク間で一貫した品質改善が示され、98.03%の高密度な理解性能を維持し、エンドツーエンドの推論速度は1.93times$である。
論文 参考訳（メタデータ） (2026-08-29T14:27:55Z) - The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search [19.846305722187328]
Retrieval-Augmented Generation (RAG)は、多様なポートフォリオ生成にシフトする。
これは2つの重要なボトルネック、すなわち証拠利用率の欠陥測定と、最適条件下予算配分によって悪影響を受けている。
本稿では,遺伝子依存を正確に分離する因果排除プローブを提案する。
モノリシック・コンテキスト・ワイドニング(モノリシック・コンテキスト・ワイドニング)の一般的な戦略は、関連性の崩壊によって罰せられるアーキテクチャ・トラップであることを示す。
論文 参考訳（メタデータ） (2026-08-24T13:44:11Z) - TRaM-VSR: Importance-Aware Token Routing and Merging for One-Step Diffusion Video Super-Resolution [52.96050253456634]
TRaM-VSRは、コンテキスト対応のビデオプリエントとネットワークレベルを用いた適応トークンアロケーションのためのフレームワークである。
その結果、TRaM-VSRは、最先端の復元品質と頑健な時間的整合性を維持しつつ、推論を著しく加速することがわかった。
論文 参考訳（メタデータ） (2026-07-24T11:57:26Z) - The Key to Going Linear: Analysis-Driven Transformer Linearization [8.56204304015324]
ソフトマックスは、なぜデルタスタイルのネットワークが純粋に累積よりも優れているのかを解明し、キー依存のランク1プロジェクションに依存していることを示す。
近似誤差の潜在的な原因を特定し、特にトークンのシンク、短い畳み込み、固定予算キャッシュルーティングといった構造的介入を導入する。
論文 参考訳（メタデータ） (2026-07-08T17:59:09Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳（メタデータ） (2026-06-05T14:00:47Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。
計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。
AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
論文 参考訳（メタデータ） (2026-03-12T12:46:42Z) - VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling [0.0]
既存のスパースアテンション手法は、コンテキスト適応性、オーバーヘッドのサンプリング、微調整コストのトレードオフに直面している。
注意分布に垂直スラッシュ構造パターンを用いる軽量なトレーニング機構であるVSPrefillを提案する。
VSPrefillは注意点の98.35%を保存し、コンテキスト長128kで平均4.95倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-03-03T09:24:58Z) - Adaptive Structured Pruning of Convolutional Neural Networks for Time Series Classification [0.776514389034479]
畳み込み型TSCモデルのための完全に自動化された構造化プルーニングフレームワークである動的構造化プルーニング(DSP)を提案する。
LITETimeは平均58%,InceptionTimeアーキテクチャは75%であり,分類精度は高い。
冗長性解析は、DSPがコンパクトで情報的な表現を生成することを確認し、スケーラブルで効率的な深部TSCデプロイメントのための実践的なパスを提供する。
論文 参考訳（メタデータ） (2026-02-13T09:18:59Z) - Long-Context Modeling with Dynamic Hierarchical Sparse Attention for On-Device LLMs [17.499497967319332]
データ駆動型フレームワークであるDynamic Hierarchical Sparse Attention (DHSA)を導入する。
DHSAは高い注意力と精度を一致させ、プリフィル遅延を20-60%削減し、ピークメモリ使用量を35%削減した。
Needle-in-a-Haystack Test と LongBench を用いたGemma2 実験では,DHSA の精度は高いが,プリフィル遅延は20～60%,ピークメモリ使用量は35%削減された。
論文 参考訳（メタデータ） (2025-10-28T16:34:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。