論文の概要: The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon
- arxiv url: http://arxiv.org/abs/2611.18422v1
- Date: Fri, 13 Nov 2026 17:01:18 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:23:58.97052
- Title: The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon
- Title(参考訳): 3つのモードのマルチキャストメッシュ上のページ状態のGated-DeltaNetタイル、RTLからシリコンへのビットアクティベート
- Abstract要約: 線形アテンション言語モデルは、増大するキーバリューキャッシュを一定サイズのリカレントな状態に置き換える。
エッジFPGAでは、この状態はオンチップメモリを超え、外部メモリにページ化されなければならない。
本稿では,このようなページングがデコードコストを支配しているかどうかを問う。
- 参考スコア(独自算出の注目度): 11.206758778146282
- License:
- Abstract: Linear-attention language models replace a growing key-value cache with a recurrent state of fixed size. On an edge FPGA, this state can exceed the on-chip memory and must be paged to external memory. This paper asks whether such paging dominates the cost of decoding (generating tokens). We built a hardware tile that computes one complete layer of a custom 369-million-parameter hybrid Gated DeltaNet model on an Agilex 5 FPGA and pages its recurrent state. The model state needs 6.2 MiB, whereas the device has 0.87 MiB of block memory. Paging adds 26.0 MB of memory traffic per decoded token, at most 11.2 percent of the calculated total. On the board at 75 MHz, with synthetic weights, one token takes 11.15 ms in this layer. The matrix-vector products with the weights take about 62 percent of this time and the state phase, including the paging, 13 percent. The tile is one node of a multicast mesh of tri-mode processing elements. We measure the error of the fixed-point arithmetic against floating point and check that the hardware agrees bit for bit with a fixed-point reference. In simulation, the state logic agrees with the reference on all 18 recurrent layers. On the board, six builds pass all 30 runs of 64 tokens and two runs of 1,024 tokens. For this model and memory interface, the delivery of the weights limits the decoding performance, and the recurrent state does not. State paging is therefore practical for such a model on an edge FPGA.
- Abstract(参考訳): 線形アテンション言語モデルは、増大するキーバリューキャッシュを一定サイズのリカレントな状態に置き換える。
エッジFPGAでは、この状態はオンチップメモリを超え、外部メモリにページ化されなければならない。
本稿では,このようなページングが復号化コスト(トークンの生成)を支配しているかどうかを問う。
私たちは、Agilex 5 FPGA上で、369万パラメータのカスタムハイブリッドGated DeltaNetモデルの完全なレイヤを計算し、そのリカレント状態をページ化するハードウェアタイルを構築しました。
モデル状態は6.2MiB、デバイスは0.87MiBのブロックメモリを持つ。
Pagingは、デコードされたトークン当たりのメモリトラフィックを26.0MB増やし、計算された全体の11.2%を占める。
基板上では75MHzの合成重量で、1つのトークンはこの層に11.15ミリ秒かかる。
重量のマトリックスベクター製品は、この時間の約62%と、ページングを含む状態段階の13%を要している。
タイルは三モード処理要素のマルチキャストメッシュの1つのノードである。
固定点演算の誤りを浮動小数点に対して測定し、ハードウェアが固定点参照とビット間で一致していることを確認する。
シミュレーションでは、状態論理は18の繰り返し層の参照と一致する。
ボード上の6つのビルドは、64トークンの30行すべてと1,024トークンの2行をパスする。
このモデルとメモリインターフェースでは、重み付けの配信はデコード性能を制限し、リカレント状態は制限しない。
したがって、状態パージングはエッジFPGA上のそのようなモデルに対して実用的である。
関連論文リスト
- Cascadia: Resident 975B MoE Inference on Eleven AI PCs [0.0]
我々は、11台のIntel Core Ultra X7 358H AI PC上で、カスカディアのInklingの常駐実行を示す。
Inklingのルーティングルールを保存し、OpenVINOの融合したiGPUプリミティブのための圧縮グラフを構築するカスタム常駐MoEエンジンにコントリビュートする。
ストリーミングパイプラインは同時生成をコーディネートし、キャプチャ状態のドラフト評価は、展開された数値パスと一致させる。
論文 参考訳(メタデータ) (2026-10-05T18:29:24Z) - Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。
浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。
システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
論文 参考訳(メタデータ) (2026-07-15T23:55:48Z) - TileMaxSim: IO-Aware GPU MaxSim Scoring with Dimension Tiling and Fused Product Quantization [3.3723515662362265]
ColBERTのようなマルチベクトル検索モデルは、きめ細かいトークンレベルのMaxSimスコアリングによって最先端の精度を達成する。
既存のGPU実装は、ほとんどのハードウェア性能を未使用のままにしている。
私たちは、このギャップを埋めるIO対応のTritonカーネルのファミリーであるTileMaxSimを紹介します。
論文 参考訳(メタデータ) (2026-06-24T23:03:56Z) - A Single-Layer Model Can Do Language Modeling [0.0]
私たちは、その形が言語モデリングにどこまで達するかを尋ねます。
本研究では,各ステップ毎に1つの状態ベクトルを1つの再帰ブロックで再帰するグラウンドド予測ネットワーク(GPN)を提案する。
130Mパラメータにおいて、1層GPN+Mは、12層トランスフォーマー++の13%(16.05)、10層GPNの18%(15.34)の範囲で、FineWeb-Eduパープレキシティ18.06に達する。
論文 参考訳(メタデータ) (2026-05-11T14:31:24Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳(メタデータ) (2026-04-09T14:35:42Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳(メタデータ) (2026-03-23T17:57:24Z) - A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA [10.452946241750562]
Gated DeltaNet(GDN)は、成長するKVキャッシュを固定サイズのリカレントステートに置き換える線形アテンションメカニズムである。
このボトルネックはアルゴリズムではなくアーキテクチャであることが示され、全てのサブクワッド列モデルはデコード時に 1 FLOP/B 未満の演算強度を示す。
オンチップBRAMにおいて,フル2MBのリカレント状態を持続的に保持することにより,このボトルネックを解消するFPGAアクセラレータを提案する。
論文 参考訳(メタデータ) (2026-03-06T06:03:38Z) - 70% Size, 100% Accuracy: Lossless LLM Compression for Efficient GPU Inference via Dynamic-Length Float [52.079202872069835]
大規模言語モデル(LLM)や拡散モデル(DM)といった大規模AIモデルは急速に成長している。
圧縮フレームワークであるDynamic-Length Float (DFloat11) を導入し, LLM と DM サイズを30%削減した。
論文 参考訳(メタデータ) (2025-04-15T22:38:38Z) - Dynamic neural network with memristive CIM and CAM for 2D and 3D vision [57.6208980140268]
本稿では,memristor を用いた意味記憶に基づく動的ニューラルネットワーク (DNN) を提案する。
ネットワークは、受信したデータとセマンティックベクターとして格納された過去の経験を関連付ける。
MNISTとModelNetのデータセットから画像と3Dポイントを分類するために、ResNetとPointNet++の40nmのmemristorマクロを用いて、我々の共同設計を検証する。
論文 参考訳(メタデータ) (2024-07-12T04:55:57Z) - LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale [80.86029795281922]
トランスにおけるフィードフォワードおよびアテンションプロジェクション層に対するInt8行列乗算法を開発した。
175Bパラメータ16/32ビットのチェックポイントをロードし、Int8に変換し、直ちに使用することができる。
論文 参考訳(メタデータ) (2022-08-15T17:08:50Z) - Leveraging Automated Mixed-Low-Precision Quantization for tiny edge
microcontrollers [76.30674794049293]
本稿では、HAQフレームワークに基づく自動混合精度量子化フローを提案するが、MCUデバイスのメモリおよび計算特性に特化している。
具体的には、強化学習エージェントは、個々の重みとアクティベーションテンソルの2, 4, 8ビットのうち、最高の均一量子化レベルを探索する。
重量のみの量子化のために2MBに制限されたMCUクラスのメモリが与えられた場合、混合精度エンジンによって生成された圧縮されたモデルは、最先端のソリューションと同じくらい正確である。
論文 参考訳(メタデータ) (2020-08-12T06:09:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。