論文の概要: ConSA: Controllable Sparsity in Hybrid Attention via Learnable Allocation

• arxiv url: http://arxiv.org/abs/2606.18056v1
• Date: Tue, 16 Jun 2026 15:33:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.513573
• Title: ConSA: Controllable Sparsity in Hybrid Attention via Learnable Allocation
• Title（参考訳）: ConSA:学習可能なアロケーションによるハイブリッドアテンションにおける制御可能なスパーシリティ
• Abstract要約: 本稿では,ユーザが指定したスパシティターゲットの下で最適なFA/SWA割り当てを学習するフレームワークを提案する。 学習されたアロケーションはルールベースのベースラインを一貫して上回る。 この構造は、モデルスケール、スパーシリティレベル、および粒度の割り当てにまたがって持続し、微粒な注意行動のスペクトルを明らかにする。
• 参考スコア（独自算出の注目度）: 28.570306501429172
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid architectures combining full attention (FA) and sliding-window attention (SWA) are a promising paradigm for efficient LLM inference. However, existing methods typically rely on hand-crafted rules or simple post-hoc heuristics for FA/SWA allocation and offer limited analysis of the attention behaviors underlying these designs. We propose Controllable Sparsity in Hybrid Attention (ConSA), a framework that learns optimal FA/SWA assignment under a user-specified sparsity target. ConSA employs L0 regularization to learn binary masks selecting between FA and SWA for each attention unit, while an augmented Lagrangian constraint enforces the target sparsity at either layer or KV-head granularity. We evaluate ConSA on two LLMs at the 0.6B and 1.7B scales. Learned allocations consistently outperform rule-based baselines, with KV-head-wise allocation yielding clear gains over layer-wise allocation. The learned patterns place SWA in the bottom layers and concentrate FA into contiguous middle-layer blocks, diverging from evenly interleaved patterns in rule-based methods. This structure persists across model scales, sparsity levels, and allocation granularities, revealing a fine-grained spectrum of intrinsic attention behaviors that underlies the learned allocation.
• Abstract（参考訳）: 全注目(FA)とスライディング・ウインドウ・アテンション(SWA)を組み合わせたハイブリッドアーキテクチャは、効率的なLLM推論のための有望なパラダイムである。 しかし、既存の手法は通常、FA/SWAアロケーションのための手作りルールや単純なポストホックヒューリスティックに頼り、これらの設計の根底にある注意行動の限定的な分析を提供する。 本研究では,ユーザが指定した疎度目標の下で最適なFA/SWA割り当てを学習するフレームワークであるConSA(Contulable Sparsity in Hybrid Attention)を提案する。 ConSAはL0正規化を用いて、注目ユニット毎にFAとSWAを選択するバイナリマスクを学習する一方、拡張ラグランジアン制約は、どちらの層でも、KVヘッドの粒度でもターゲットの間隔を強制する。 0.6B と 1.7B の2つの LLM 上で ConSA を評価する。 学習されたアロケーションはルールベースのベースラインを一貫して上回り、KVヘッドのアロケーションはレイヤーのアロケーションよりも明確なゲインをもたらす。 学習パターンは、SWAを下位層に配置し、FAを連続した中間層ブロックに集約し、ルールベースの方法で均等にインターリーブされたパターンから分岐する。 この構造は、モデルスケール、スパーシリティレベル、および粒度の割り当てにまたがって持続し、学習されたアロケーションの基盤となる固有の注意行動のきめ細かいスペクトルを明らかにする。

関連論文リスト

• AC-VLA: Robust Out-of-Distribution Action Execution via Compositional Learning [52.47988016454267]
  VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット操作において優れているが、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮している。 構成的サブスキルのセマンティクスよりも全体論的軌道パターンに過度に適合するEmphtrajectory overfittingと、世界空間の接地を犠牲にして手首面のテクスチャを過度に強調するEmphperceptual shortcutの2つの相互強化モードを同定する。 textbfAC-VLA, プラグアンドプレイアクション構成学習について紹介する。
  論文  参考訳（メタデータ） (2026-07-17T07:51:03Z)
• SWARD: Stochastic Window-Attention-Based Relational Distillation for Cross-Architectural Semantic Segmentation [1.1617094867403568]
  大規模視覚基盤モデルは、セマンティックセグメンテーションのような密集した予測タスクに大きな利益をもたらした。 現代の基礎教師は、主にグローバルコンテキストを符号化するトランスフォーマーベースであるのに対し、効率的な学生は、通常、局所的に偏った受容場を持つ畳み込みネットワークである。 既存の蒸留法は主に構造的均質性を前提としており、直接的特徴模倣に依存しており、この表現的ギャップを埋めることができない。 本稿では,このギャップを2つの相補的なメカニズムで解決する知識蒸留フレームワークSWARDを提案する。
  論文  参考訳（メタデータ） (2026-05-31T04:29:31Z)
• ALTER: Asymmetric LoRA for Token-Entropy-Guided Unlearning of LLMs [27.099331508285108]
  大規模言語モデル(LLM)は、様々な領域にわたる広範な知識を網羅するために進歩してきた。 我々は,LLMのための軽量なアンラーニングフレームワークであるALTERを紹介し,知識の絡み合いと非ラーニング効率の両面での課題に対処する。
  論文  参考訳（メタデータ） (2026-03-02T12:21:16Z)
• A Generalized Learning Framework for Self-Supervised Contrastive Learning [9.01200351672698]
  自己教師付きコントラスト学習(SSCL)は、最近、複数の下流タスクにおいて優位性を示した。 本稿では,標準SSCL手法を,整合部と制約部という2つの部分からなる一般化学習フレームワーク(GLF)に一般化する。
  論文  参考訳（メタデータ） (2025-08-19T08:00:29Z)
• Dual Guidance Semi-Supervised Action Detection [71.45023660211145]
  空間的時間的行動局在化のための半教師付きアプローチを提案する。 より優れた擬似有界ボックスを選択するための二重誘導ネットワークを導入する。 本フレームワークは,拡張画像に基づく半教師付きベースラインよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-07-28T18:08:36Z)
• CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
  継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。 近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。 ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
  論文  参考訳（メタデータ） (2025-07-13T03:11:35Z)
• DSAGL: Dual-Stream Attention-Guided Learning for Weakly Supervised Whole Slide Image Classification [5.260725801393189]
  超高解像度でリッチなセマンティックな内容のため,WSIは癌診断に重要である。 DSAGL(Dual-Stream Attention-Guided Learning, DSAGL)は、教師/学生のアーキテクチャと2重ストリーム設計を組み合わせた、弱教師付き分類フレームワークである。
  論文  参考訳（メタデータ） (2025-05-29T11:07:16Z)
• Understand What LLM Needs: Dual Preference Alignment for Retrieval-Augmented Generation [64.7982176398485]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚化問題を緩和する効果を実証している。 本稿では,RAGシステム内での多様な知識嗜好の整合を図った汎用フレームワークであるDPA-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-26T18:26:53Z)
• Outlier Weighed Layerwise Sparsity (OWL): A Missing Secret Sauce for Pruning LLMs to High Sparsity [88.62935593360162]
  大規模言語モデル(LLM)は、様々な領域にわたる顕著なパフォーマンスで有名である。 本研究では,不均一層幅比の調整を施した新しいLCMプルーニング手法について紹介する。 OWL は、最先端の Wanda と SparseGPT を 61.22 で上回り、6.80 パープレキシティを 70% で上回っている。
  論文  参考訳（メタデータ） (2023-10-08T14:22:58Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。