論文の概要: PageWeaver: KV-Guided Query Unions for Sparse Attention

• arxiv url: http://arxiv.org/abs/2610.11201v1
• Date: Thu, 08 Oct 2026 04:04:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.793073
• Title: PageWeaver: KV-Guided Query Unions for Sparse Attention
• Title（参考訳）: PageWeaver: スパースアテンションのためのKV-Guidedクエリユニオン
• Abstract要約: クエリグループを組み立てるために選択ページ親和性を利用する実行設計であるPageWeaverを提案する。 直接KVページ結合実装は、計測されたFlashInferパス上の1.70倍の幾何平均完全呼び出し速度を達成する。 オンライン再グループ化により、選択された5つの64Kコンテキストキャプチャでは、レイテンシが3.26-7.66%低下する。
• 参考スコア（独自算出の注目度）: 18.3390303239226
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic sparse attention limits the KV pages selected by each query, but a small support does not necessarily yield efficient GPU work. Query unions share page loads and populate Tensor Core tiles; their cost depends on which queries are grouped together. We present PageWeaver, an execution design that uses selected-page affinity to assemble query groups while preserving each query's original support and complete output ownership. A bounded GPU search produces query IDs, and an ID-aware two-CTA kernel consumes them without materializing reordered Q tensors or cross-page partial outputs. A direct KV-page union implementation provides a complementary design study of nonlocal reuse and reduction cost. With FP8 KV throughout, the H200 Union8 implementation achieves a 1.70x geometric-mean complete-call speedup over the measured FlashInfer path on six captures. Online regrouping further lowers latency by 3.26-7.66% on five selected 64K-context captures. Whole-model prefill throughput is 7.88-14.36% above the tested native path; the incremental regrouping benefit is smaller, with observed median gains of 0.47-0.73% at 32K/64K and regressions at 8K. A B300 comparison identifies cases where preparation cost and a stronger native kernel remove the advantage. These results separate execution-group reuse from the complete cost of exploiting it online.
• Abstract（参考訳）: 動的スパースアテンションは、クエリ毎に選択されたKVページを制限するが、小さなサポートは必ずしも効率的なGPU作業をもたらすとは限らない。 クエリユニオンはページロードを共有してTensor Coreタイルをポップアップする。 提案するPageWeaverは,クエリグループを組み立てる上で,クエリの本来のサポートと完全な出力オーナシップを保ちながら,選択ページ親和性を利用する実行設計である。 有界GPUサーチはクエリIDを生成し、IDを意識した2-CTAカーネルは、リオーダーされたQテンソルやクロスページ部分出力を具体化せずにそれらを消費する。 直接的なKVページ結合の実装は、非局所的な再利用と削減コストの相補的な設計研究を提供する。 FP8 KVにより、H200 Union8の実装は6回のキャプチャで計測されたFlashInferパスの1.70倍の完全呼び出し速度を達成する。 オンライン再グループ化により、選択された5つの64Kコンテキストキャプチャでは、レイテンシが3.26-7.66%低下する。 全モデルのプリフィルスループットは、試験されたネイティブパスより7.88-14.36%高く、インクリメンタルリグルーピングの利点は小さく、32K/64Kでは0.47-0.73%、レグレッションは8Kである。 B300の比較では、準備コストとより強力なネイティブカーネルが利点を除去するケースを特定する。 これらの結果は、実行グループ再利用と、それをオンラインで悪用する完全なコストを分離する。

関連論文リスト

• InferOpt: Constrained Multi-Objective Search for LLM Inference Configurations [10.870302114905913]
  InferOptは、変数境界、決定論的リソースコスト、評価フックのみを必要とする再利用可能な検索フレームワークである。 1つのパイプラインは28次元連続KV空間と26次元離散MoE空間をカバーしている。 InferOptは全KV基準点の7.3%と14.0%で一致した統一予算を破る。
  論文  参考訳（メタデータ） (2026-10-03T12:19:09Z)
• DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression [354.65055709450576]
  DeepSeek-V4.1-Flashは,552Bのバックボーンパラメータを持つマルチモーダルMixture-of-Experts(MoE)モデルで,最大100万トークンのコンテキストをサポートする。 Causal-Decoder (CED) アーキテクチャでは、デコード時にトークン毎に16Bパラメータを起動するが、プリフィル時に8Bパラメータしか有効にせず、エージェントワークロードのコスト効率を大幅に向上する。
  論文  参考訳（メタデータ） (2026-09-17T09:43:10Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• RecGPT-Mobile-V2 Technical Report [22.10290138930905]
  RecGPT-Mobile-V2は、意図的品質と実行効率をステージド設計の目的として扱うエンドツーエンドフレームワークである。 このフレームワークは異種間相互作用をエビデンス保存軌道に変換し、ドメイン適応と教師付きアライメントを通じてレコメンデーションネイティブ基盤を確立する。 オンライン検索分析では、クエリリコールチャネルは、確立されたリコールチャネルによってサーフェスされたインベントリに補完されるインベントリを検索することを示している。
  論文  参考訳（メタデータ） (2026-08-25T09:23:17Z)
• Minima-KV: Retention-Preserving KV Cache Compression with Mixed-Format Paged Attention [0.0]
  Minima-KVは、混合形式ページアテンションのための保持保存階層である。 最近の保護されたアンカーページはFP8に残っており、古いアンカーページはTQ3に移動している。 フォーマット固有のカーネルは部分的な注意状態を計算し、それらをグローバルに標準化されたオンライン-ソフトマックス状態を通して組み合わせる。
  論文  参考訳（メタデータ） (2026-08-24T21:21:58Z)
• HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference [47.0879800334801]
  HetRouteは、分散エッジMoE推論のための異種コスト対応協調ルーティングフレームワークである。 HetRouteは平均推論遅延を59.0%、P99レイテンシを58.0%まで削減する。
  論文  参考訳（メタデータ） (2026-08-01T10:30:01Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• PP-OCRv6: From 1.5M to 34.5M Parameters, Surpassing Billion-Scale VLMs on OCR Tasks [15.973951643113963]
  PP-OCRv6は、アーキテクチャの革新とデータ中心の最適化を組み合わせた軽量なOCRシステムである。 我々の社内ベンチマークでは、PP-OCRv6_mediumは83.2%の認識精度と86.2%の検出Hmeanを達成した。
  論文  参考訳（メタデータ） (2026-06-11T09:35:16Z)
• MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
  本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。 それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。 我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
  論文  参考訳（メタデータ） (2025-11-04T18:27:39Z)
• Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference [56.71209737306054]
  我々は,プローブ-textbfQuery を動的に決定し,関連する textbfKV ペアを推論するために利用する,トレーニングフリーの textbfActivation-aware アプローチである textbfActQKV を提案する。 Long-Bench と $infty$ Benchmarks の実験では、競合する推論品質とリソース効率を備えた最先端のパフォーマンスが実証されている。
  論文  参考訳（メタデータ） (2025-02-19T08:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。