論文の概要: Prism Attention: Proposal-Refined Index Sharing Mechanism for Efficient LLMs Inference
- arxiv url: http://arxiv.org/abs/2610.22985v1
- Date: Fri, 16 Oct 2026 06:11:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.779819
- Title: Prism Attention: Proposal-Refined Index Sharing Mechanism for Efficient LLMs Inference
- Title（参考訳）: プリズム注意:効率的なLLM推論のための提案精製インデックス共有機構
- Abstract要約: 大規模言語モデルにおける長いコンテキストのデコーディングは、成長を続けるキーバリューキャッシュへの参加に必要なメモリと計算によって、ますますボトルネックになっている。
提案手法を改良したスパースアテンションフレームワークであるPrism Attentionを提案する。
厳密な層間インデックスの再利用を粗大な戦略に置き換え、層間共有の効率性を維持しつつ、層間適応性を維持する。
- 参考スコア（独自算出の注目度）: 32.13746415465446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context decoding in large language models (LLMs) is increasingly bottlenecked by the memory and computation required to attend over an ever-growing Key-Value (KV) cache at each autoregressive step. Although token-level sparse attention reduces this burden by restricting computation to a small subset of relevant past tokens, its practical gains are often offset by repeatedly recomputing layer-wise sparse indices as the context grows. A common remedy is to share sparse indices across layers by computing them only at designated anchor layers, but such static reuse ignores the layer-wise evolution of attention patterns, causing the reused indices to progressively deviate from the layer-specific optima and incur substantial attention loss. By revisiting cross-layer sparsity from the perspective of attention dynamics, we find that inter-layer salient token shift is highly localized: although the exact top-$κ$ indices differ across layers, the core high-attention tokens remain stable, with changes concentrated near the expanded boundary of previously selected regions. Motivated by this, we propose Prism Attention, a proposal-refined sparse attention framework. It replaces rigid cross-layer index reuse with a coarse-to-fine strategy, preserving layer-wise adaptability while retaining the efficiency benefits of cross-layer sharing. Extensive experiments show that Prism Attention achieves state-of-the-art performance among mainstream sparse attention methods on both reasoning and long-context benchmarks, while attaining a $3.4\times$ end-to-end decoding speedup over FlashAttention at 128K context length.
- Abstract（参考訳）: 大規模言語モデル(LLM)における長いコンテキストのデコーディングは、各自動回帰ステップにおけるキーバリュー(KV)キャッシュの増大に対応するために必要なメモリと計算によって、ますますボトルネックになっている。
トークンレベルのスパースアテンションは、計算を関連する過去のトークンの小さなサブセットに制限することで、この負担を軽減するが、コンテキストが大きくなるにつれて、その実用的利益はしばしば、レイヤーワイズスパースインデックスを再計算することで相殺される。
一般的な治療法は、指定されたアンカー層でのみ計算することで、層間でスパースインデックスを共有することであるが、そのような静的な再利用は注意パターンのレイヤーワイズ進化を無視し、再利用されたインデックスは層固有の最適値から徐々に逸脱し、かなりの注意損失をもたらす。
注意力学の観点から, 層間空間幅を再検討することにより, 層間局所性トークンシフトが高度に局在していることが判明した: 正確なトップ値κ$指数は層間によって異なるが, コアの高アテンショントークンは安定であり, 従来選択されていた領域の境界付近に集中している。
これを動機として,提案手法を改良したスパースアテンションフレームワークであるPrism Attentionを提案する。
厳密な層間インデックスの再利用を粗大な戦略に置き換え、層間共有の効率性を維持しつつ、層間適応性を維持する。
大規模な実験により、Prism Attentionは、推論と長期コンテキストのベンチマークの両方において、主流のスパースアテンションメソッドの中で最先端のパフォーマンスを達成する一方で、128Kのコンテキスト長でFlashAttentionよりも3.4\times$のエンドツーエンドデコードスピードアップを達成した。
関連論文リスト
- Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models [86.02826269126308]
本稿では,局所スナップショット決定から時間軌道モデリング問題へのプルーニングを高める新しいフレームワークであるTrend-Aware Pruningを提案する。
これにより、"ラトブルーミング"トークンを選択的に再活性化する動的修正機構が実現される。
論文 参考訳（メタデータ） (2026-07-30T15:07:00Z) - Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling [47.23122393772321]
本稿では,各層に異なるスケーリング因子を割り当てる,層固有の位置埋め込みスケーリング(LPES)手法を提案する。
LPESは、モデルパラメータを微調整したり、推論遅延を増大させることなく、よりバランスの取れた注意分布を実現する。
実験により、LPESは位置注意バイアスを効果的に軽減し、複数の長文ベンチマークで一貫した改善をもたらすことが示された。
論文 参考訳（メタデータ） (2026-06-26T04:07:41Z) - RAPID: Layer-Wise Redundancy-Aware Pruning and Importance-Driven Token Merging for Efficient ViT [0.014257559724536567]
視覚変換器(ViT)は高い性能を実現するが、二次的な自己注意の複雑さにより高い計算コストを被る。
本稿では,トークン表現の層的特性に還元戦略を適用した深度対応型トークン還元フレームワークを提案する。
我々のフレームワークは、階層的特徴進化と縮小戦略を整合させることにより、視覚モデルを最適化するためのトレーニング不要のテンプレートを提供する。
論文 参考訳（メタデータ） (2026-06-06T13:13:02Z) - You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。
シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。
その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2026-06-04T17:54:04Z) - Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。
COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
論文 参考訳（メタデータ） (2026-05-10T09:07:04Z) - Stateful Token Reduction for Long-Video Hybrid VLMs [69.6930118088911]
ハイブリッドビデオビジョン言語モデル(VLM)のクエリ条件付きトークン削減について検討する。
本稿では,低段階から高段階の減算スケジュールと,注意とマンバブロックの両ブロックを対象とした言語認識スコアリング機構を提案する。
積極的圧縮条件下では,本手法はテスト時にほぼベースライン精度で精度の高いプリフィルング・スピードアップを実現する。
論文 参考訳（メタデータ） (2026-02-27T08:11:06Z) - Q Cache: Visual Attention is Valuable in Less than Half of Decode Layers for Multimodal Large Language Model [21.206033754351786]
マルチモーダル大言語モデル(MLLM)は、視覚トークンの拡散に起因する外乱推論コストに悩まされている。
既存のアプローチでは、トークンの最適化に重点を置いており、さまざまなトークンプルーニング技術を活用して、非極端なビジュアルトークンを排除している。
同様の注意パターンの層間共有を可能にする効果的な注意機構であるLazy Attentionを提案する。
論文 参考訳（メタデータ） (2026-02-02T10:08:00Z) - Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference [9.469995152350899]
我々は、既知の観測値を活用する訓練不要なスパースアテンション手法であるカスケードを提案する。
Kascadeは、小さなアンカー層で正確なTop-kインデックスを計算し、それらのインデックスを中間再利用層で再利用する。
Kascadeは、H100 GPU上のFlashAttention-3ベースラインに対して、デコードアテンションの最大4.1倍、プリフィルアテンションの2.2倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-12-18T10:37:14Z) - Anchor Attention, Small Cache: Code Generation with Large Language Models [15.94784908771546]
NLPの現在のプラクティスは、コード生成タスクにおいて、不正確な、あるいは幻覚を引き起こす可能性のある、スパースアテンションを使用することが多い。
本稿では,コンテキスト情報を抽出・圧縮するトークン・アンカー・アテンションを特徴とする新しいアプローチであるAnchorCoderを提案する。
モデルの性能の大部分を保ちながら、KVキャッシュの要求を大幅に削減できる(少なくとも70%)。
論文 参考訳（メタデータ） (2024-11-11T02:47:05Z) - TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention [7.4088392854630625]
大規模言語モデル (LLM) は様々なNLPタスクにおいて大幅な進歩をもたらした。
本稿では,定位置スパークアテンションによる高速かつ高精度なLCMデコーディングシステムであるTidalDecodeを紹介する。
論文 参考訳（メタデータ） (2024-10-07T14:30:27Z) - Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。
本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。
AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
論文 参考訳（メタデータ） (2023-05-04T19:11:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。