論文の概要: BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers

• arxiv url: http://arxiv.org/abs/2608.20427v1
• Date: Wed, 19 Aug 2026 18:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.048786
• Title: BF1: A Causal Dyadic Sparse-Attention Retrofit for Efficient Long-Context Transformers
• Title（参考訳）: BF1: 長周期変圧器の因果的スパルスアテンションリトロフィ
• Abstract要約: 本研究では,小面積の局所的近傍,大域的な第1ブロック,および対数的に空間化された歴史的ブロックを結合したブロックアライン・ダイアルド・スパース・アテンション経路について検討する。 最適化されたBF16の実装は、2Kトークンと4Kトークンの間で高い注意を払い、32Kで1層あたり10.91倍のプリフィルスピードアップに達する。 本稿では,数値的正当性,選択相互作用スケーリング,カーネル性能,部分モデル言語モデリング,および一致した次世代言語モデリングについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dense causal attention remains expensive at long context even when implemented with highly optimized exact kernels. We study BF1, a deterministic block-aligned dyadic sparse-attention route that combines a small exact local neighborhood, a global first block, and logarithmically spaced historical blocks. The route is related to prior log-sparse and dilated attention patterns; our contribution is a correctness-gated pretrained-model retrofit, a matched topology-control study, and a systems characterization that connects per-layer sparsity to whole-model latency. For fixed block width, every converted layer uses O(n log n) selected token interactions and has O(log n) graph communication depth. On an NVIDIA RTX PRO 6000 Blackwell GPU, an optimized BF16 implementation crosses dense attention between 2K and 4K tokens and reaches a 10.91x per-layer prefill speedup at 32K. Retrofitting eight of 28 Qwen3-0.6B attention layers lowers warm whole-model time to first token by 7.7%, 11.3%, and 15.3% at 8K, 16K, and 32K, respectively, while the remaining dense layers keep the complete model asymptotically quadratic. Under a matched 1,000-step, 16.384M-token adaptation protocol, BF1 ranks first across three training seeds: mean report perplexity is 1.68639 versus 1.69154 for a matched static-random nonlocal graph, 1.69258 for dense continued training, and 1.81505 for equal-budget local sliding. At seed 1234, the packed-report paired interval places Dense-CT 0.3169-0.4055% above BF1 and static-random graph 17 0.2441-0.3642% above BF1. These results establish BF1 as a reproducible sparse operator and selective retrofit primitive with real long-context systems value. This paper evaluates numerical correctness, selected-interaction scaling, kernel performance, partial-model inference, and matched next-token language modeling.
• Abstract（参考訳）: 高度に最適化された正確なカーネルで実装しても、複雑な因果的注意は長期にわたって高価である。 決定論的ブロック整列ダイアドスパルスアテンション経路であるBF1について検討した。 この経路は,事前のログスパースおよび拡張された注意パターンと関連している。我々の貢献は,正当性有意な事前学習モデルの復元,整合トポロジ制御の研究,および層間間隔と全体モデルのレイテンシーを接続するシステム特性である。 固定ブロック幅では、変換された各層はO(n log n)選択トークン相互作用を使用し、O(log n)グラフ通信深さを持つ。 NVIDIA RTX PRO 6000 Blackwell GPUでは、最適化されたBF16実装が2Kトークンと4Kトークンの間で高い注意を払い、32Kで10.91倍のプレフィルスピードアップに達する。 28 Qwen3-0.6Bの注目層のうち8層を再構成すると、各層が8K、16K、32Kで7.7%、11.3%、および15.3%の温かい全モデル時間が第1トークンに低下し、残りの層は漸近的に2次となる。 一致1000段、16.384Mの適応プロトコルの下では、BF1は3つの訓練種のうち、平均レポートパープレキシティは一致した静的ランダム非局所グラフでは1.68639対1.69154、密集した継続トレーニングでは1.69258、等予算局所スライディングでは1.81505である。 シード1234では、Dense-CT 0.3169-0.4055%をBF1、静的ランダムグラフ 17 0.2441-0.3642%をBF1の上に配置する。 これらの結果は、BF1を再現可能なスパース演算子として確立し、真の長文システム値を持つ選択的な再適合プリミティブとした。 本稿では,数値的正当性,選択された相互作用スケーリング,カーネル性能,部分モデル推論,および一致した次世代言語モデリングについて述べる。

関連論文リスト

• Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models [67.72077328700088]
  本稿では,2次元の異なるデコーダのみの高密度変圧器モデルについて検討した。 Token-1B モデルは低FLOP 方式ではバイトモデル (End-Of-Token-1B と Bytes-1B) より優れていたが、最終的には高原となる。 100Kトークンの順序ではなく256バイトの小さな語彙で操作することで、ログダンピング時にトップクランケーションの必要性を回避することができる。
  論文  参考訳（メタデータ） (2026-09-11T00:17:22Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Representation Distribution Matching for One-Step Visual Generation [107.84208192304455]
  表現分布マッチング(Representation Distribution Matching, RDM)の設計空間の解明 2つの設計軸、分布がどのように比較され、それらの表現が比較されるかを特定し、それに沿って制御された研究によって3つの結果が得られた。 同じレシピは4ステップのFLUX.2[klein]を1ステップのジェネレータに後付けし、GenEvalの4ステップバージョンである0.826から0.794、PickScoreの22.76から22.58を90 H200 GPU時間で上回った。
  論文  参考訳（メタデータ） (2026-07-02T16:15:38Z)
• Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
  ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。 2次元空間伝搬伝搬に基づくC-GSPNを提案する。
  論文  参考訳（メタデータ） (2026-05-30T14:29:43Z)
• ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
  textscChunkFTはメモリ効率の良い微調整フレームワークである。 textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。 textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-20T13:44:44Z)
• Hierarchical Transformer Preconditioning for Interactive Physics Simulation [28.137076331332413]
  階層型トランスフォーマープレコンディショナー(Hierarchical Transformer Preconditioner)は、弱い許容率のH行列分割に固定されたニューラルプレコンディショナーである。 ネットワークは低ランクの遠距離因子を通して逆をモデル化する。 高速道路の接続を利用して、奥行きを隔ててコンテキストを伝播する。
  論文  参考訳（メタデータ） (2026-05-13T11:02:27Z)
• GPU-Accelerated Optimization of Transformer-Based Neural Networks for Real-Time Inference [0.0]
  本稿では,混合精度最適化を用いたNVIDIARTを用いた変圧器モデルのためのGPU加速型推論パイプラインの設計と評価を行う。 このシステムはCPUベースラインの64.4倍のスピードアップ、シングルサンプル推論の10ms以下のレイテンシ、メモリ使用量の63%削減を実現している。
  論文  参考訳（メタデータ） (2026-03-30T17:27:33Z)
• Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
  DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。 d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。 因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
  論文  参考訳（メタデータ） (2026-03-23T17:57:24Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• Scaling Up 3D Kernels with Bayesian Frequency Re-parameterization for Medical Image Segmentation [25.62587471067468]
  RepUX-Netは、単純な大きなカーネルブロック設計を持つ純粋なCNNアーキテクチャである。 人間の視覚系における空間周波数にインスパイアされ、カーネル収束を要素的設定に変化させるよう拡張する。
  論文  参考訳（メタデータ） (2023-03-10T08:38:34Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Efficient Context-Aware Network for Abdominal Multi-organ Segmentation [8.92337236455273]
  腹腔内多臓器分画を効果的かつ効果的に行うための網羅的粗粒化フレームワークを開発した。 デコーダモジュールでは、k*k*1のスライス内畳み込みと1*1*kのスライス間畳み込みによる異方性畳み込みが、負担を軽減するように設計されている。 コンテキストブロックに対して、異方性と長距離のコンテキスト情報をキャプチャするためのストリッププーリングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-22T09:05:59Z)
• Scalable Optimal Transport in High Dimensions for Graph Distances, Embedding Alignment, and More [7.484063729015126]
  最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。 これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。 グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
  論文  参考訳（メタデータ） (2021-07-14T17:40:08Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。