論文の概要: ConSA: Controllable Sparsity in Hybrid Attention via Learnable Allocation

• arxiv url: http://arxiv.org/abs/2606.18056v1
• Date: Tue, 16 Jun 2026 15:33:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.513573
• Title: ConSA: Controllable Sparsity in Hybrid Attention via Learnable Allocation
• Title（参考訳）: ConSA:学習可能なアロケーションによるハイブリッドアテンションにおける制御可能なスパーシリティ
• Authors: Yao Chen, Yinqi Yang, Junyuan Shang, Xiangzhao Hao, Simeng Zhang, Yilong Chen, Tingwen Liu, Shuohuan Wang, Dianhai Yu,
• Abstract要約: 本稿では,ユーザが指定したスパシティターゲットの下で最適なFA/SWA割り当てを学習するフレームワークを提案する。 学習されたアロケーションはルールベースのベースラインを一貫して上回る。 この構造は、モデルスケール、スパーシリティレベル、および粒度の割り当てにまたがって持続し、微粒な注意行動のスペクトルを明らかにする。
• 参考スコア（独自算出の注目度）: 28.570306501429172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid architectures combining full attention (FA) and sliding-window attention (SWA) are a promising paradigm for efficient LLM inference. However, existing methods typically rely on hand-crafted rules or simple post-hoc heuristics for FA/SWA allocation and offer limited analysis of the attention behaviors underlying these designs. We propose Controllable Sparsity in Hybrid Attention (ConSA), a framework that learns optimal FA/SWA assignment under a user-specified sparsity target. ConSA employs L0 regularization to learn binary masks selecting between FA and SWA for each attention unit, while an augmented Lagrangian constraint enforces the target sparsity at either layer or KV-head granularity. We evaluate ConSA on two LLMs at the 0.6B and 1.7B scales. Learned allocations consistently outperform rule-based baselines, with KV-head-wise allocation yielding clear gains over layer-wise allocation. The learned patterns place SWA in the bottom layers and concentrate FA into contiguous middle-layer blocks, diverging from evenly interleaved patterns in rule-based methods. This structure persists across model scales, sparsity levels, and allocation granularities, revealing a fine-grained spectrum of intrinsic attention behaviors that underlies the learned allocation.
• Abstract（参考訳）: 全注目(FA)とスライディング・ウインドウ・アテンション(SWA)を組み合わせたハイブリッドアーキテクチャは、効率的なLLM推論のための有望なパラダイムである。 しかし、既存の手法は通常、FA/SWAアロケーションのための手作りルールや単純なポストホックヒューリスティックに頼り、これらの設計の根底にある注意行動の限定的な分析を提供する。 本研究では,ユーザが指定した疎度目標の下で最適なFA/SWA割り当てを学習するフレームワークであるConSA(Contulable Sparsity in Hybrid Attention)を提案する。 ConSAはL0正規化を用いて、注目ユニット毎にFAとSWAを選択するバイナリマスクを学習する一方、拡張ラグランジアン制約は、どちらの層でも、KVヘッドの粒度でもターゲットの間隔を強制する。 0.6B と 1.7B の2つの LLM 上で ConSA を評価する。 学習されたアロケーションはルールベースのベースラインを一貫して上回り、KVヘッドのアロケーションはレイヤーのアロケーションよりも明確なゲインをもたらす。 学習パターンは、SWAを下位層に配置し、FAを連続した中間層ブロックに集約し、ルールベースの方法で均等にインターリーブされたパターンから分岐する。 この構造は、モデルスケール、スパーシリティレベル、および粒度の割り当てにまたがって持続し、学習されたアロケーションの基盤となる固有の注意行動のきめ細かいスペクトルを明らかにする。

関連論文リスト

• A Generalized Learning Framework for Self-Supervised Contrastive Learning [9.01200351672698]
  自己教師付きコントラスト学習(SSCL)は、最近、複数の下流タスクにおいて優位性を示した。 本稿では,標準SSCL手法を,整合部と制約部という2つの部分からなる一般化学習フレームワーク(GLF)に一般化する。
  論文  参考訳（メタデータ） (2025-08-19T08:00:29Z)
• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• DSAGL: Dual-Stream Attention-Guided Learning for Weakly Supervised Whole Slide Image Classification [5.260725801393189]
  超高解像度でリッチなセマンティックな内容のため,WSIは癌診断に重要である。 DSAGL(Dual-Stream Attention-Guided Learning, DSAGL)は、教師/学生のアーキテクチャと2重ストリーム設計を組み合わせた、弱教師付き分類フレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T11:07:16Z)
• Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。 本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-26T18:26:53Z)
• Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity [88.62935593360162]
  大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。 本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。 OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
  論文  参考訳（メタデータ） (2023-10-08T14:22:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。