論文の概要: PHBA: Prefix-State Hybrid Block Attention

• arxiv url: http://arxiv.org/abs/2610.08527v1
• Date: Tue, 06 Oct 2026 15:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.078915
• Title: PHBA: Prefix-State Hybrid Block Attention
• Title（参考訳）: PHBA: 固定状態のハイブリッドブロック注意
• Abstract要約: 線形列モデルとソフトマックスアテンションを組み合わせたハイブリッドアーキテクチャは、効率的な長文モデリングと正確なトークン検索の効果的なバランスを提供する。 従来のNative Hybrid Attention (NHA)のような設計では、圧縮された長期状態とスライディングウインドウの注意が組み合わされているが、その正確な注意は固定されたローカルウインドウに限られている。 本稿では,局所的なスライディングウインドウの注意をトップkブロックスパース検索に置き換えたPHBA(Prefix-State Hybrid Block Attention)を提案する。
• 参考スコア（独自算出の注目度）: 34.44352236548722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid architectures combining linear sequence models with softmax attention provide an effective balance between efficient long-context modeling and precise token retrieval. Existing designs such as Native Hybrid Attention (NHA) combine compressed long-term states with sliding-window attention, but their exact attention is restricted to a fixed local window. In this work, we introduce Prefix-State Hybrid Block Attention (PHBA), which replaces local sliding-window attention with top-k block-sparse retrieval and couples each retrieved block with a compact prefix state summarizing its preceding context. The prefix states are constructed by a gated linear recurrence at block boundaries and retrieved together with the corresponding token blocks, allowing the model to combine precise long-range evidence with compressed historical context within a unified layer. We further develop a hardware-aware Triton implementation that streams routed token blocks and prefix states without materializing large intermediate tensors. Experiments show that PHBA improves long-context and retrieval performance over strong linear and hybrid baselines while retaining efficient training and inference.
• Abstract（参考訳）: 線形列モデルとソフトマックスアテンションを組み合わせたハイブリッドアーキテクチャは、効率的な長文モデリングと正確なトークン検索の効果的なバランスを提供する。 従来のNative Hybrid Attention (NHA)のような設計では、圧縮された長期状態とスライディングウインドウの注意が組み合わされているが、その正確な注意は固定されたローカルウインドウに限られている。 本研究では,局所的スライディングウインドウの注意をトップkブロックスパース検索に置き換えるPrefix-State Hybrid Block Attention (PHBA)を導入する。 プレフィックス状態はブロック境界におけるゲート線形再帰によって構築され、対応するトークンブロックとともに取得される。 さらに,大規模中間テンソルを具現化することなく,経路付きトークンブロックとプレフィックス状態をストリームするハードウェア対応トリトンの実装を開発した。 実験により、PHBAは、効率的なトレーニングと推論を維持しながら、強い線形およびハイブリッドベースラインよりも長いコンテキストと検索性能を向上させることが示された。

関連論文リスト

• Switching Linear Attention [15.268696747051974]
  線形アテンションは、メモリフットプリントを一定に保った効率的なリカレント計算を可能にする。 このギャップを埋める新しいシーケンス層である Switching Linear Attention (SwiLA) を導入する。 SwiLAは、連想リコール、コンテキスト内言語学習、言語モデリングベンチマークなど、強いパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-09-30T05:37:13Z)
• Bumblebee: Interleaved Mixed-Layer Building Blocks for Large-Scale Recommendation Systems [18.01934261007753]
  Bumblebeeは2つの方向の相互作用の欠如に対処するレコメンデーションアーキテクチャである。 各ブロックは、シーケンスのパーソナライズ、アテンションベースのエンコーディング、そして自己完結したユニットへの機能交差を組み合わせた、レイヤのマイクロパイプラインを実装している。 いくつかの分類および回帰タスクにおいて、同等のベースラインモデルに対して一貫した改善を示す。
  論文  参考訳（メタデータ） (2026-07-06T20:31:38Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Native Hybrid Attention for Efficient Sequence Modeling [12.306252523159197]
  ネイティブハイブリッドアテンション(NHA)は、線形およびフルアテンションの新たなハイブリッドアーキテクチャである。 単一のtextttsoftmaxアテンション操作は、すべてのキーと値に適用される。 実験結果から,NHAはリコール集約・コモンセンス推論タスクにおいてトランスフォーマーを上回ることがわかった。
  論文  参考訳（メタデータ） (2025-10-08T13:44:57Z)
• Scaling Linear Attention with Sparse State Expansion [62.749291436866606]
  トランスフォーマーアーキテクチャは、2次計算と線形メモリ成長による長期コンテキストシナリオに苦慮している。 より効率的な文脈圧縮を実現するための2つの重要な革新を提案する。 まず、情報分類として状態更新を概念化し、線形注意のための行スパース更新定式化を導入する。 次に、スパースフレームワーク内にスパース状態拡張(SSE)を示し、コンテキスト状態を複数のパーティションに拡張する。
  論文  参考訳（メタデータ） (2025-07-22T13:27:31Z)
• Expansion Span: Combining Fading Memory and Retrieval in Hybrid State Space Models [59.607021334350385]
  本研究では,過去から任意の距離から取得したトークンのアテンションコンテキストの一部を「保存」することにより,ハイブリッド状態のメモリ幅を拡大する手法を提案する。 この限定されたトークンを"Expansion span"と呼び、それを取得して集約するメカニズムを"Span-Expanded Attention"(SE-Attn)と呼びます。 また,SE-Attnにより,事前学習用モデルよりも最大8倍長のトークン列上で,事前学習型ハイブリッドモデルを効率的に適用できることを示す。
  論文  参考訳（メタデータ） (2024-12-17T20:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。