論文の概要: GLIDE: Guided Layerwise Hybrid Attention for Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2607.24788v1
• Date: Fri, 26 Jun 2026 17:48:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.066592
• Title: GLIDE: Guided Layerwise Hybrid Attention for Efficient LLM Inference
• Title（参考訳）: GLIDE: 効率的なLLM推論のための階層的ハイブリッドアテンション
• Abstract要約: 本稿では,リニアリカレントアグリゲーションとスライディングウインドウのソフトマックスアテンションを統合した案内層ハイブリッドアテンションであるGLIDEを提案する。 均一なハイブリッドアプローチとは異なり、GLIDEはモデル全体のソフトマックスフットプリントを不均一に圧縮し、KVキャッシュI/Oの集約を減らし、最も重要な表現力を保持する。 実験的な評価では、GLIDEは優れたパフォーマンス効率のトレードオフを実現し、品質を損なうことなく、長文生成におけるエンドツーエンドのレイテンシを低減する。
• 参考スコア（独自算出の注目度）: 6.410595937323586
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As Large Language Models scale to increasingly long contexts, the memory I/O and computational overhead of the Key-Value (KV) cache during decoding emerges as the primary throughput bottleneck. To address this, we propose GLIDE, a Guided Layerwise Hybrid Attention that strategically integrates sliding-window softmax attention with linear recurrent aggregation. GLIDE is motivated by layer-wise heterogeneity: early layers exhibit high sensitivity to softmax removal, while deeper layers demonstrate redundancy and tolerate aggressive replacement by linear alternatives. Leveraging this insight, GLIDE introduces a layer-wise adaptive mechanism wherein each layer balances an efficient linear recurrence with a variable-sized softmax window. Unlike uniform hybrid approaches, GLIDE non-uniformly compresses the softmax footprint across the model, reducing aggregate KV cache I/O while preserving expressive power where most vital. Empirical evaluations demonstrate the GLIDE achieves superior performance-efficiency tradeoffs, reducing end-to-end latency for long-context generation without compromising quality.
• Abstract（参考訳）: 大きな言語モデルがますます長いコンテキストにスケールするにつれて、メモリI/Oとデコード時のキーバリュー(KV)キャッシュの計算オーバーヘッドが主要なスループットボトルネックとして現れます。 そこで本研究では,リニアリカレントアグリゲーションとスライディングウインドウのソフトマックスアテンションを戦略的に統合するガイドレイヤーワイドハイブリッドアテンションであるGLIDEを提案する。 初期の層はソフトマックス除去に対する高い感度を示し、深い層は冗長性を示し、線形代替品による攻撃的な置換を許容する。 この知見を生かして、GLIDEは各層が効率的な線形回帰と可変サイズのソフトマックスウィンドウのバランスをとるような層ワイド適応機構を導入している。 均一なハイブリッドアプローチとは異なり、GLIDEはモデル全体のソフトマックスフットプリントを不均一に圧縮し、KVキャッシュI/Oの集約を減らし、最も重要な表現力を保持する。 実験的な評価では、GLIDEは優れたパフォーマンス効率のトレードオフを実現し、品質を損なうことなく、長文生成におけるエンドツーエンドのレイテンシを低減する。

関連論文リスト

• Morphing into Hybrid Attention Models [52.02140767770562]
  ハイブリッドアテンションモデルは、フルアテンション層のサブセットのみを保持し、残りのレイヤを線形アテンションに置き換えることで、長期コンテキスト効率を向上させる。 既存のハイブリッド層選択法は一般に固定配置パターンや層単位でのスコアリングに依存しており、グローバルなハイブリッド構成の下では、層の重要性を分離され、相互依存層効果を見越すものとして暗黙的に扱う。 本稿では,トランスフォーマー-ハイブリッド変換のための効率的な,効率的な,スケーラブルな層選択手法であるFlashMorphを提案する。
  論文  参考訳（メタデータ） (2026-06-29T17:02:34Z)
• LayerBoost: Layer-Aware Attention Reduction for Efficient LLMs [3.80555579179805]
  LayerBoostは推論遅延を低減し、スループットを最大68%向上する。 いくつかのベンチマークでベースモデルのパフォーマンスと一致し、他のベンチマークでは小さな劣化しか示さず、最先端の注目線形化手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-04-23T20:12:19Z)
• Curvature-Weighted Capacity Allocation: A Minimum Description Length Framework for Layer-Adaptive Large Language Model Optimization [8.029535985033485]
  大規模な言語モデルにおけるレイヤーのキャパシティは、一様ではなく、あるレイヤは損失削減に不均一に寄与し、他のレイヤは、ほぼ冗長である。 影響関数に基づくレイヤスコアリングのような、この非均一性を利用する既存の手法は、感度推定を生成するが、それらをアロケーションやプルーニング決定に変換するための原則化されたメカニズムは提供しない。 このギャップを,MDL(Minimum Description Length)の原理に基づく統一された曲率対応フレームワークで解決する。
  論文  参考訳（メタデータ） (2026-03-01T04:14:15Z)
• HyLRA: Hybrid Layer Reuse Attention for Efficient Long-Context Inference [11.718567830546538]
  大規模言語モデルにおける長文推論は、注意の2次計算の複雑さによってボトルネックとなる。 bf HyLRAは階層ワイド・スパシティ・プロファイリングによって駆動される新しいフレームワークである。 その結果,HyLRAは推論のスループットを6%から46%向上し,同等の性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-31T15:36:17Z)
• SoLA-Vision: Fine-grained Layer-wise Linear Softmax Hybrid Attention [50.99430451151184]
  線形注意はコストをO(N)に還元するが、圧縮された状態表現はモデリング能力と精度を損なう。 本稿では,視覚表現学習における線形およびソフトマックスの注意を対比する分析的研究について述べる。 フレキシブルな層状ハイブリッドアテンションバックボーンであるSoLA-Visionを提案する。
  論文  参考訳（メタデータ） (2026-01-16T10:26:53Z)
• Distilling to Hybrid Attention Models via KL-Guided Layer Selection [66.06591032073744]
  本稿では,テキストデータに対する少量のトレーニングから得られた重要度スコアを用いた,簡易かつ効率的な層選択法について述べる。 この手法は, 固定比に基づいて線形注意を均一に解き出す手法を含む, 従来の層選択手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2025-12-23T18:12:22Z)
• FFN-SkipLLM: A Hidden Gem for Autoregressive Decoding with Adaptive Feed Forward Skipping [49.66872823080736]
  自己回帰型大規模言語モデル(LLaMa, GPT)は、言語理解と生成において顕著な成功を収めている。 発生時に発生する過負荷を軽減するため、いくつかの早期退避および層下降戦略が提案されている。 本稿では,入力適応型フィードフォワードスキップ戦略であるFFN-SkipLLMを提案する。
  論文  参考訳（メタデータ） (2024-04-05T02:35:43Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。