論文の概要: CoWindow Attention: Full Causal Coverage Is a Collective Property

• arxiv url: http://arxiv.org/abs/2609.32704v1
• Date: Sat, 26 Sep 2026 15:09:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:08:57.626994
• Title: CoWindow Attention: Full Causal Coverage Is a Collective Property
• Title（参考訳）: CoWindowの注意:完全な因果関係は集合的財産
• Abstract要約: FullAttnはすべてのアテンションヘッドに完全な因果履歴を繰り返し公開する。 我々は、KVヘッドにまたがる因果履歴へのアクセスを分散する構造化された注意アーキテクチャであるCoWAを紹介する。
• 参考スコア（独自算出の注目度）: 9.132810979450886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: FullAttn repeatedly exposes the complete causal history to every attention head, creating substantial redundant computation and memory traffic even with IO-efficient dense kernels. We introduce CoWA, a structured attention architecture that distributes access to the causal history across KV heads. All heads share near-diagonal and prefix-sink windows, while complementary long-range windows partition the remaining history. Their union provides full causal coverage although each head attends sparsely to distant tokens. This position-defined attention pattern requires no learned router or indexer, is used consistently during training and inference, and aligns with KV-head tensor parallelism. A window-matched ablation at 8K isolates the effect of complementary long-range allocation: CoWA with 100% collective coverage reaches 89.73% accuracy, compared with 89.97% for FullAttn, while duplicated long-range windows perform substantially worse. Across a broader controlled associative-recall comparison with matched token budgets, CoWA closely tracks FullAttn as the context grows, whereas other sparse patterns lose a substantial fraction of the associations. In an attention-operator benchmark at 128K tokens with tensor parallelism, CoWA reduces forward and backward latency during training by 7.4x and 8.6x and decoding latency during inference by 3.0x over FullAttn. Its per-rank peak operator memory matches FullAttn during training and is 7.6x lower during decoding. Across scaling-law training from 0.6B to 14B parameters, CoWA closely tracks FullAttn in perplexity while reducing total training FLOPs. The resulting 14B models and 32B models from separate continued training achieve comparable knowledge, reasoning, and long-context retrieval scores to FullAttn. These results show that full causal coverage can be a collective property of the head ensemble rather than a duplicated property of every head.
• Abstract（参考訳）: FullAttnは、すべてのアテンションヘッドに完全な因果履歴を繰り返し公開し、IO効率の高い高密度カーネルであっても、かなりの冗長な計算とメモリトラフィックを生み出している。 我々は、KVヘッドにまたがる因果履歴へのアクセスを分散する構造化された注意アーキテクチャであるCoWAを紹介する。 すべてのヘッドは近対角窓とプレフィックスシンクウィンドウを共有し、補完的なロングレンジウィンドウは残りの履歴を分割する。 彼らの組合は完全な因果関係を提供するが、それぞれの頭は遠くのトークンに軽々しく出席する。 この位置定義されたアテンションパターンは、学習ルータやインデクサを必要とせず、トレーニングや推論中に一貫して使用され、KVヘッドテンソル並列性と整合する。 8Kのウィンドウマッチングアブレーションは、補完的な長距離割り当ての効果を分離する:100%の包含率を持つCoWAは89.73%、FullAttnは89.97%、複製された長距離ウィンドウは著しく悪化する。 CoWAは、一致するトークン予算とのより広範な制御された連想-リコール比較の中で、コンテキストが大きくなるにつれてFullAttnを綿密に追跡する一方、他のスパースパターンは協会のかなりの部分を失う。 テンソル並列性を備えた128Kトークンのアテンション演算ベンチマークにおいて、CoWAはトレーニング中の前方および後方遅延を7.4xと8.6xで削減し、FullAttnよりも3.0xの遅延をデコードする。 1ランクのピーク演算子メモリは、トレーニング中にFullAttnと一致し、復号時に7.6倍低い。 0.6Bから14Bパラメータのスケーリング法則のトレーニング全体を通じて、CoWAはFullAttnの難易度を詳細に追跡し、全体のトレーニングFLOPを削減した。 結果として得られた14Bモデルと32Bモデルは、別途のトレーニングにより、FullAttnに匹敵する知識、推論、長文検索スコアを得る。 これらの結果は,すべての頭部の重複特性ではなく,頭部の集合的特性であることを示す。

関連論文リスト

• MassAlloc Attention: Let Attention Allocate Its Own Compute [9.132810979450886]
  FullAttnは因果点空間の多くに無視可能な正規化質量を割り当てるが、密度の高いカーネルは各QKタイルを形成した後、完全なポストスコアパスを実行する。 我々は,すべての法的因果関係に対するスコアアクセスを保った注意プリミティブであるMALAを紹介する。 一般的な寛容さは、トレーニングと推論を統制し、作業の適応的保持を可能にする。
  論文  参考訳（メタデータ） (2026-09-26T15:24:45Z)
• Beyond Mean Attention: Diversity-Aware, Layer-Wise Scoring for KV Cache Eviction [3.060720241524644]
  KVキャッシュ消去法は、小さな観測窓に平均的な注意だけでトークンをランク付けする。 統一スコアである$_i+__mathrmcorr(i,S)$について検討し,ウィンドウクエリ間の注意分散と,選択したトークンに対する冗長性について検討した。
  論文  参考訳（メタデータ） (2026-09-25T03:08:00Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers [0.0]
  本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。 最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。 本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
  論文  参考訳（メタデータ） (2026-08-19T18:35:12Z)
• Divide and Contrast: Learning Robust Temporal Features without Augmentation [4.7318594191739765]
  Divide and Contrast(Di-COT)は、データ拡張とマルチエンコーダパスを回避する、教師なしのフレームワークである。 Di-COTは各ウィンドウを、イテレーション毎に少数の重なり合うサブブロックに分割し、効率的で意味のあるコントラストを可能にする。 6つの大規模な実世界のデータセットとUCRとUEAベンチマークの実験は、Di-COTが意味的に構造化され、転送可能な表現を学ぶことを実証している。
  論文  参考訳（メタデータ） (2026-05-20T14:31:44Z)
• DeCoRL: Decoupling Reasoning Chains via Parallel Sub-Step Generation and Cascaded Reinforcement for Interpretable and Scalable RLHF [11.39724102247425]
  DeCoRL(Decoupled Reasoning Chains via Coordinated Reinforcement Learning)は、シーケンシャルな処理から協調的なモジュールオーケストレーションへと推論を変換する新しいフレームワークである。 DeCoRLは軽量な特殊モデルを訓練して推論サブステップを同時に生成し、並列処理によるシーケンシャルなボトルネックを排除している。 包括的評価は、RM-Bench、RMB、RewardBenchにまたがる最先端の結果を示し、大規模モデルを含む既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2025-11-11T07:52:39Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
  超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。 本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。 チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
  論文  参考訳（メタデータ） (2025-02-20T07:10:43Z)
• S2-Attention: Hardware-Aware Context Sharding Among Attention Heads [49.1454481007861]
  スパースアテンションは、コンテキスト内のトークンのサブセットに選択的に出席する。 スパース・アテンションが今日の大規模言語モデルでモデルの品質を維持することができるかどうかは不明だ。 本稿では,Sparsely-Sharded(S2) attention, a Triton library that provide kernel optimization for sparse attention for sparse attention to customizable per-head and per-context-range levels。
  論文  参考訳（メタデータ） (2024-07-25T00:27:07Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。