論文の概要: HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing

• arxiv url: http://arxiv.org/abs/2610.05842v1
• Date: Mon, 05 Oct 2026 05:49:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:49:48.450228
• Title: HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing
• Title（参考訳）: HLA: チャンクワイズダイナミックミキシングによる表現型ハイブリッドリニアアテンション
• Abstract要約: Gated DeltaNet (GDN) のためのクエリ依存型チャンクレベルのアテンション機構である emphHybrid Linear Attention (HLA) を導入する。 HLAは、完了したチャンクを正確なアフィン状態遷移として表現し、コンテンツ依存のルーティングゲートを計算する。 プレトレーニング適応とオフスクラッチトレーニングを併用したHLAの評価を行った。
• 参考スコア（独自算出の注目度）: 46.9405944149712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linear attention enables efficient long-context autoregressive decoding by compressing history into recurrent states, but this compression can make selective access to sparse and distant information difficult. Existing chunk-based extensions increase memory capacity, yet learned chunk-mixing coefficients may remain fixed with respect to input content and therefore cannot adapt historical access to each query. We introduce \emph{Hybrid Linear Attention} (HLA), a query-dependent chunk-level attention mechanism for Gated DeltaNet (GDN). HLA represents each completed chunk as an exact affine state transition and computes content-dependent routing gates from compact, self-attentively pooled representatives. Each gate interpolates the corresponding historical transition with the identity map, controlling both the chunk's additive memory and its transformation of earlier states. Effective-support regularization further encourages concentrated routing for sparse inference. We evaluate HLA under both pretrained adaptation and from-scratch training. Across Qwen3.5 models from 0.8B to 9B, HLA consistently improves over native GDN and fixed chunk mixing, with gains of up to 5.57 percentage points on LongBench-V2 and 3.97 points on RULER. In a controlled from-scratch 1.3B setting trained for 100B tokens with a 4K context, HLA also improves RULER performance from 4K to 32K, with gains increasing from 0.83 points at 4K to 4.22 points at 32K. These results demonstrate that query-dependent composition of recurrent memory improves long-context modeling and remains effective beyond the training context while using compact per-chunk affine summaries. Project page: https://caesarhhh.github.io/hla/
• Abstract（参考訳）: 線形アテンションは、履歴をリカレント状態に圧縮することで、効率的な長文自動回帰復号を可能にするが、この圧縮はスパース情報や遠方情報への選択的アクセスを困難にする。 既存のチャンクベースの拡張はメモリ容量を増大させるが、学習されたチャンク混合係数は入力内容に対して固定されているため、各クエリへの履歴アクセスに適応できない。 本稿では,Gated DeltaNet (GDN) のクエリ依存型チャンクレベルアテンション機構である \emph{Hybrid Linear Attention} (HLA) を紹介する。 HLAは、完了した各チャンクを正確なアフィン状態遷移として表現し、コンパクトで自己依存的にプールされた代表からコンテンツ依存のルーティングゲートを計算する。 各ゲートは対応する履歴遷移とアイデンティティマップを補間し、チャンクの加算メモリとそれ以前の状態の変換の両方を制御する。 効果的なサポート付き正規化により、スパース推論のための集中的なルーティングが促進される。 プレトレーニング適応とオフスクラッチトレーニングを併用したHLAの評価を行った。 0.8Bから9BまでのQwen3.5モデル全体で、HLAはネイティブGDNと固定チャンク混合よりも一貫して改善されており、LongBench-V2では最大5.57ポイント、RULERでは3.97ポイントまで上昇している。 4Kコンテキストで100Bトークンをトレーニングした制御済みの1.3B設定では、HLAはRULERのパフォーマンスを4Kから32Kに改善し、0.83ポイントから4.22ポイントに向上した。 これらの結果から,反復メモリの問合せ依存型構成は長期コンテキストモデリングを向上し,コンパクトなチャンク単位のアフィンサマリーを用いてトレーニングコンテキストを超えて有効であることを示す。 プロジェクトページ: https://caesarhhh.github.io/hla/

関連論文リスト

• HLA-WM: Hybrid Linear Attention for Long-Horizon Video World Models [47.19295948657598]
  HLA-WMは、トレーニングフリーのハイブリッドリニアアテンションフレームワークである。 Gated DeltaNetのアフィン構造を利用して、コンパクトなチャンクのトランジションサマリーをキャッシュする。 カメラ幾何学を用いてシーン関連履歴チャンクを検索し、それらをクエリ固有のリカレント状態に再構成する。
  論文  参考訳（メタデータ） (2026-10-05T03:44:00Z)
• Soft-NBCE: Entropy-Weighted Chunk Fusion for Long-Context [13.19850137760249]
  離散チャンク選択をソフトエントロピー重み付きチャンク融合に置き換える軽量拡張であるSoft-NBCEを提案する。 また,LORAに基づく自己蒸留システムであるConsistency Distillationを提案する。
  論文  参考訳（メタデータ） (2026-05-31T08:43:47Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention [53.22963042513293]
  大規模言語モデル(LLM)は、自己アテンションを通じてグローバルトークンの依存関係をキャプチャするが、長い入力に対する計算とメモリコストに直面する。 まず,二状態線形注意(Dual-state linear attention, A)を提案する。これは2つの隠れ状態を保持する設計であり,その1つは,リニアアテンションアーキテクチャの典型的な短距離バイアスを緩和し,リニアアテンションを追尾するものである。 本稿では,DSLA層を段階的に置き換えるオンライン適応蒸留フレームワークであるDSLA-Serveを紹介する。
  論文  参考訳（メタデータ） (2025-06-11T01:25:06Z)
• LoLA: Low-Rank Linear Attention With Sparse Caching [33.39181779121562]
  本稿では,リフレッシュなリコールを促進するリニアアテンションのための学習自由化であるLoLAを提案する。 パスキー検索タスクでは、LoLAはベースモデルの精度を0.6%から97.4%に改善している。 LoLAは、ゼロショットコモンセンス推論タスクにおいて、他の1Bおよび8Bパラメータのサブクワッドラティックモデルよりも優れている。
  論文  参考訳（メタデータ） (2025-05-29T17:12:42Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。