論文の概要: Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention

• arxiv url: http://arxiv.org/abs/2607.20457v1
• Date: Thu, 14 May 2026 23:43:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.179183
• Title: Dropping the Anchor: Statistical Context Summarization for Distributed Systems via Pulsar Attention
• Title（参考訳）: アンカーの落下:パルサー注意による分散システムの統計的文脈要約
• Abstract要約: 大規模言語モデル(LLM)を長いシーケンスで推論することは、自己注意の複雑さのために計算コストがかかる。 本稿では,静的アンカーを2つの軽量コンテンツ対応コンポーネントに置き換えるPulsar Attentionを提案する。 RULER と BABILong では、Llama-3.1-8B で、パルサー・アテンションは、高密度のベースラインに対して最大4.7%の絶対的なゲインを持つ128Kのトークンにおいて、星のアテンションと高密度のアテンションの両方に優れる。
• 参考スコア（独自算出の注目度）: 0.37234320870419474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference with large language models (LLMs) on long sequences is computationally expensive due to the quadratic complexity of self-attention. Distributed blockwise methods such as Star Attention reduce this cost by sharding context across hosts, but rely on prepending a static, content-blind copy of the first block to every host. We propose Pulsar Attention, which replaces the static anchor with two lightweight, content-aware components: a small attention-sink prefix that stabilizes softmax, and compact cross-block summaries built via a Max-IDF heuristic that selects chunks containing globally rare tokens. This reduces the Phase 1 per-GPU FLOPs by up to 3.3$\times$ over Star Attention while retaining an identical KV cache footprint. On RULER and BABILong with Llama-3.1-8B, Pulsar Attention outperforms both Star Attention and dense attention at sequence lengths up to 128K tokens, with absolute gains of up to 4.7% over the dense baseline.
• Abstract（参考訳）: 大規模言語モデル (LLM) による長い列への推論は、自己注意の二次的な複雑さのため、計算的に高価である。 Star Attentionのような分散ブロックワイドメソッドは、ホスト間でコンテキストをシャーディングすることで、このコストを削減するが、最初のブロックの静的でコンテントのコピーをすべてのホストに先延ばしすることに依存する。 本稿では,静的アンカーを2つの軽量なコンテンツ対応コンポーネントに置き換えるPulsar Attentionを提案する。ソフトマックスを安定化する小さな注目シンクプレフィックスと,グローバルレアトークンを含むチャンクを選択するMax-IDFヒューリスティックを用いて構築されたコンパクトなクロスブロックサマリである。 これにより、GPU当たりのFLOPのフェーズ1をスターアテンションより最大3.3$\times$まで削減し、同じKVキャッシュフットプリントを保持することができる。 RULER と BABILong では、Llama-3.1-8B で、パルサー・アテンションは、高密度のベースラインに対して最大4.7%の絶対ゲインを持つ128Kのトークンにおいて、星のアテンションと高密度のアテンションの両方に優れる。

関連論文リスト

• Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones [4.847095054351615]
  リニアアテンションは一定時間繰り返しの推論を約束するが、連想的リコールによって著しく低下する。 Kernelized Linear Attention Activations (KATA)を紹介します。 ランク1の正の半定的な特徴が良好なキャパシティ-干渉トレードオフをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-07-19T21:46:09Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• Scaling Attention via Feature Sparsity [50.64995497733461]
  超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。 本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。 GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
  論文  参考訳（メタデータ） (2026-03-17T08:41:50Z)
• S2O: Early Stopping for Sparse Attention via Online Permutation [8.663038872273512]
  S2Oは、オンライン・パーミューテーションによるスパークアテンションの早期停止を行う。 メモリシステムにおける仮想物理アドレスマッピングにインスパイアされたS2Oは、Flashの実行を再検討し、分解する。 非常に軽量な前処理とインデックスリマッピングのオーバーヘッドにより、高優先度ブロックの小さなセットに重点を置いている。
  論文  参考訳（メタデータ） (2026-02-26T03:30:28Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• AnchorAttention: Difference-Aware Sparse Attention with Stripe Granularity [9.63873831179673]
  拡張コンテキスト長を持つ大規模言語モデル(LLM)は、事前充足フェーズにおいて重大な計算上の課題に直面します。 重要な注意領域を効率よく識別する,差認識型動的スパースアテンション機構である textbfAnchorAttention を提案する。 textbfAnchorAttentionは、粒度の細かいスペーシング戦略により、同じリコールレベルでより高いスペーサ率を実現し、計算時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-05-29T14:59:06Z)
• Star Attention: Efficient LLM Inference over Long Sequences [17.401430615714]
  本稿では,複数のホストに注意を向けることで,計算効率を向上させる2相ブロックスパース近似であるStar Attentionを紹介する。 Star Attentionは、グローバルに注意を払ってトレーニングされたほとんどのTransformerベースのLarge Language Modelとシームレスに統合され、メモリ要件と推論時間を最大11倍に短縮する。
  論文  参考訳（メタデータ） (2024-11-26T05:10:04Z)
• S$^3$Attention: Improving Long Sequence Attention with Smoothed Skeleton Sketching [51.38617149946765]
  本稿ではスムースなスケルトンスケッチに基づくアテンション構造S$3$Attentionを提案する。 S$3$Attentionは、線形複雑性をシーケンス長に保ちながら、ノイズの影響を効果的に最小化する2つのメカニズムを持つ。
  論文  参考訳（メタデータ） (2024-08-16T07:01:46Z)
• S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
  スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。 スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。 本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
  論文  参考訳（メタデータ） (2024-07-25T00:27:07Z)
• MoA: Mixture of Sparse Attention for Automatic Large Language Model Compression [22.038650467915176]
  本研究では,異なる頭部と層に異なる注意配置を自動調整するMixture of Attention (MoA)を提案する。 MoAは様々な入力サイズに対応し、いくつかの注意点がより長いシーケンスに対応するように焦点を拡大し、他のヘッドは固定長のローカルコンテキストに一貫して集中することを示した。
  論文  参考訳（メタデータ） (2024-06-21T06:58:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。