論文の概要: SparseCraft: Agentic Hardware-Software Co-Optimization for Sparse Computing
- arxiv url: http://arxiv.org/abs/2610.05037v1
- Date: Sun, 04 Oct 2026 08:06:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 06:51:36.354725
- Title: SparseCraft: Agentic Hardware-Software Co-Optimization for Sparse Computing
- Title(参考訳): SparseCraft: スパースコンピューティングのためのエージェントハードウェアとソフトウェアの共同最適化
- Abstract要約: 512倍の512ドルのGraphChallengeスパースDNN層では、ループは2.1倍のサイクル、9.8倍のオフチップトラフィック、22.8%の領域がブロックスパースGemminiベースラインよりも少ない。
レバーは3つの層にまたがる: 密集したEDP住民を維持するスケジュールは、トラフィックの9.8倍を除去し、ゼロゲートMACとゼロロースキップユニットは、モデルがチゼルで記述したエネルギーをカットし、記憶領域を縮小する。
- 参考スコア(独自算出の注目度): 0.3199881502576702
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sparse-accelerator design spaces are usually searched against analytical models, so a design point is admitted on what a model predicts rather than on what the hardware does. SparseCraft closes that gap with a language model inside a closed CHIA loop. In each of 15 iterations the model reads the measured outcome of the previous one and edits the Chisel RTL, the memory configuration and the sparse-kernel schedule of a Gemmini accelerator through MCP tool servers, and no candidate counts until it has been checked for legality, elaborated, simulated cycle-accurately, checked bit-for-bit on every output against a golden reference, and synthesised. The harness turns each measurement into the next work order, a diagnosed bottleneck with matching strategy guidance, the history of tried designs and a score of the model's own prediction, and a second model repairs changes that fail a gate. On a $512 \times 512$ GraphChallenge sparse-DNN layer the loop reaches 2.1x fewer cycles, 9.8x less off-chip traffic and 22.8% less area than the block-sparse Gemmini baseline, with 5.61x higher modelled perf/W and 11.8x lower EDP. The levers span three layers: a schedule that keeps the dense operand resident removes 9.8x of the traffic, a zero-gated MAC and a zero-row skip unit that the model wrote in Chisel cut energy, and resizing the memories cuts area.
- Abstract(参考訳): スパース加速器の設計空間は、通常解析モデルに対して探索されるので、設計ポイントは、ハードウェアが何をするかではなく、モデルが何を予測するかで認められる。
SparseCraftは、閉じたCHIAループ内の言語モデルとのギャップを埋める。
15回のイテレーションで、モデルは前回の結果を読み取って、Chisel RTL、メモリ構成、MBPツールサーバを介してGemminiアクセラレータのスパースカーネルスケジュールを編集し、合法性を確認するまで候補数をカウントせず、サイクルを正確に精査し、サイクルを正確にシミュレートし、黄金の基準に対してビットのチェックを行い、合成する。
ハーネスは、各測定結果を次の作業順に転換し、一致する戦略ガイダンスと診断されたボトルネック、試行された設計の歴史、モデル自身の予測のスコア、ゲートを失敗する第2モデル修正を行う。
512 \times 512$ GraphChallenge sparse-DNNレイヤでは、ループは2.1倍、オフチップトラフィックは9.8倍、ブロックスパースGemminiベースラインよりも22.8%小さく、perf/Wが5.61倍、ECPが11.8倍である。
レバーは3つの層にまたがる: 密集したオペランドの居住者がトラフィックの9.8倍を除去するスケジュール、ゼロゲートMACとゼロロースキップユニット。
関連論文リスト
- Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference [26.657115303065485]
本稿では,各ブロックスケールによるGPTQ更新を再現し,不定格列からの補償を考慮した結果のブロックエラーをスコアするスケール選択であるemphSchur Replayを紹介する。
論文 参考訳(メタデータ) (2026-09-29T03:55:29Z) - Design of the IBM Granite 5.0 TurboCTC ASR Model [33.82903264755239]
本稿では,Granite 5.0 Turbo CTCのアーキテクチャ,トレーニング方法論,推論高速化について述べる。
このアーキテクチャは、ストライドドディープワイド畳み込みを用いて、コンフォーマーブロック内のピラミッド時間サブサンプリングを使用する。
推論のスピードアップには、1 x 1の畳み込みを線形層に置き換え、コンフォーマーブロックの注意を最適化することが含まれる。
論文 参考訳(メタデータ) (2026-09-17T12:05:58Z) - An Open-Source End-to-End FHE Implementation for Privacy-Preserving Llama 3 8B Inference [1.6799377888527687]
クラウドサービスは通常、ユーザがモデルプロバイダにプロンプトを送信する必要があり、プライバシのリスクが生じる。
本稿では,Llama の暗号文パッキングとモデル実行を共設計した FHE 推論システム Odin を提案する。
論文 参考訳(メタデータ) (2026-09-11T02:51:44Z) - Large Models for Small Devices: Recent Advances and Empirical Analysis of Edge AI Deployment [4.582004238093247]
リソース制約のあるエッジデバイス上で大規模なAIモデルを実行するには、モデルサイズと計算量を削減するためにモデル圧縮が必要である。
質問応答とイメージセグメンテーションにまたがって、GPU、CPU、Raspberry Piプラットフォームにコンパクトな言語とイメージモデルをデプロイします。
ニューラルネットワークグラフ解析とプリフィル・デコードレベルの遅延分解により,これらの効果を説明する。
論文 参考訳(メタデータ) (2026-08-16T11:52:13Z) - Graph-Aware Exact Branch-and-Bound with Device Profiles for Static Qubit Allocation [1.5229257192293195]
静的量子ビット割り当ては、回路の論理量子ビットをスパース物理デバイスにマッピングする。
我々は、グラフ対応の正確な削減を、軽量な割り当てバウンドパスのためのエンジニアリングバンドルに統合する。
その結果、グラフ対応ノード処理とエンジニアリングにより、正確な割り当てに必要なリソースを大幅に削減できることがわかった。
論文 参考訳(メタデータ) (2026-08-04T12:36:54Z) - MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。
ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
論文 参考訳(メタデータ) (2026-01-15T15:15:53Z) - Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds [83.39320394656855]
LiDARポイントクラウドは、様々なアプリケーションに基本的だが、高精度スキャンは、かなりのストレージと送信オーバーヘッドを発生させる。
既存の手法では、非順序の点を階層的なオクツリーやボクセル構造に変換して、密度から疎い予測符号化を行うのが一般的である。
筆者らのフレームワークは2つの軽量モジュールから構成されている。まず、Geometry Re-Densification Moduleがエンコードされたスパース幾何を再認識し、より密なスケールで特徴を抽出し、予測符号化のための特徴を再分離する。
論文 参考訳(メタデータ) (2025-08-28T06:36:10Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳(メタデータ) (2025-05-10T17:15:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。