論文の概要: NIFA: Nonlinear IMC enhanced FPGA for efficient ML inference

• arxiv url: http://arxiv.org/abs/2607.15123v1
• Date: Thu, 16 Jul 2026 15:32:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.158832
• Title: NIFA: Nonlinear IMC enhanced FPGA for efficient ML inference
• Title（参考訳）: NIFA:効率的なML推論のための非線形MC拡張FPGA
• Abstract要約: 我々は、従来のADCをアナログコンテンツ適応メモリ(ACAM)に置き換え、AMCのないIMCブロックを統合する新しいFPGAアーキテクチャを提案する。 CNNとTransformerベースのベンチマークでは、提案アーキテクチャは最大40倍、エネルギー効率は1.9倍、面積効率は4.1倍、領域効率は2.5倍となる。
• 参考スコア（独自算出の注目度）: 4.620721969034322
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent FPGAs have improved deep learning (DL) inference efficiency through dedicated tensor blocks and in-BRAM computation. ReRAM-based analog in-memory computing (IMC) pushes efficiency further, offering an order-of-magnitude improvement in compute density and energy efficiency over conventional digital logic by performing vector-matrix multiplication (VMM) directly within the ReRAM crossbar; prior work has integrated such IMC blocks into FPGAs for DL inference. However, conventional IMC designs support only static-weight VMM, leaving nonlinear operations and dynamic matrix-matrix multiplication (DIMM) to the FPGA fabric. As a result, the benefits of IMC are largely confined to static-weight models, whereas Transformer-based models, which rely on frequent nonlinear and DIMM operations, gain only limited improvement. Moreover, the ADCs within each IMC block consume more than 70% of its area and power, further limiting system efficiency and scalability. To address these limitations, we propose a novel FPGA architecture that integrates an ADC-free IMC block, replacing the conventional ADC with analog content-addressable memories (ACAMs) that natively perform nonlinear operations inside the block. To fully exploit this block, we conduct an FPGA-aware design-space exploration that determines optimal crossbar dimensions while balancing FPGA area, flexibility, and DL performance, and we develop an efficient mapping that leverages ACAMs to carry out DIMM operations, extending the applicability of IMC to attention computation. On CNN and Transformer-based benchmarks, the proposed architecture achieves up to 40x and 1.9x higher energy efficiency and 4.1x and 2.5x higher area efficiency, respectively. Overall, it significantly improves FPGA DL inference efficiency and sustains robust gains on Transformer-based workloads across long input sequences, advancing domain-specialized FPGA design.
• Abstract（参考訳）: 近年のFPGAは、専用テンソルブロックとBRAM計算により、ディープラーニング(DL)推論効率を改善している。 ReRAMベースのアナログインメモリ・コンピューティング(IMC)は、ReRAMクロスバー内でベクトル行列乗算(VMM)を直接実行することにより、従来のデジタル論理よりも計算密度とエネルギー効率のオーダー・オブ・マグニチュードの改善を提供する。 しかし、従来のIMC設計では、非線形演算と動的行列行列乗算(DIMM)をFPGAファブリックに残して、静的重み付きVMMしかサポートしていない。 その結果、IMCの利点は静的重み付けモデルに限られているのに対し、Transformerベースのモデルは頻繁に非線形およびDIMM操作に依存するため、限られた改善しか得られない。 さらに、各IMCブロック内のADCは、その面積と電力の70%以上を消費し、システム効率とスケーラビリティを制限している。 これらの制約に対処するために,従来のADCをアナログコンテンツ適応メモリ(ACAM)に置き換え,ブロック内の非線形操作をネイティブに実行する,新しいFPGAアーキテクチャを提案する。 このブロックをフル活用するために、FPGA領域、柔軟性、DL性能のバランスを保ちながら最適なクロスバー次元を決定するFPGA対応設計空間探索を行い、ACAMを活用してDIMM操作を行う効率的なマッピングを開発し、ICCの注意計算への適用性を拡張した。 CNNとTransformerベースのベンチマークでは、提案アーキテクチャは最大40倍、エネルギー効率は1.9倍、面積効率は4.1倍、領域効率は2.5倍となる。 全体として、FPGA DL推論効率を大幅に改善し、Transformerベースのワークロードを長い入力シーケンスにわたって堅牢に向上させ、ドメイン特化FPGA設計を推進します。

関連論文リスト

• High-Performance NTT Accelerators for PQC leveraging Unified Redundant Arithmetic and Fine-Tuned Microarchitecture [0.3186130813218338]
  量子後暗号とプライバシ保護技術は、将来のセキュアな通信システムにおいて中心的な役割を果たすことが期待されている。 本稿では,モンゴメリーモジュロ乗算とサブトラクション乗算演算の組み合わせの条件補正を不要とする新しい数値表現を提案する。
  論文  参考訳（メタデータ） (2026-07-01T08:41:11Z)
• CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs [48.961770224590204]
  CODAは、これらの計算をGEMM+epilogueプログラムとして表現するGPUカーネル抽象化である。 我々は,CODAがフレームワークレベルの生産性とハードウェアレベルの効率を両立させるための実践的な方法を提供することを示した。
  論文  参考訳（メタデータ） (2026-05-19T02:30:43Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation [57.57816409869894]
  大規模言語モデルをトレーニングするためのスケーラブルでメモリ効率のよい変種であるPOET-Xを紹介する。 PoET-Xは、スループットとメモリ効率を大幅に改善しながら、PoETの一般化と安定性の利点を維持している。
  論文  参考訳（メタデータ） (2026-03-05T18:59:23Z)
• Eliminating Multi-GPU Performance Taxes: A Systems Approach to Efficient Distributed LLMs [61.953548065938385]
  分析フレームワークとして'3つの税'(バルク同期、カーネル間データローカリティ、カーネルローンチオーバーヘッド)を紹介した。 我々は、分散GPU実行におけるキー非効率に対処するために、厳密なBSPモデルを超えて移動することを提案する。 BSPベースのアプローチによるエンドツーエンドのレイテンシの10-20%の高速化を観察する。
  論文  参考訳（メタデータ） (2025-11-04T01:15:44Z)
• Joint Channel Estimation and Computation Offloading in Fluid Antenna-assisted MEC Networks [81.36647816787713]
  チャネル推定の遅延を最小限に抑えるためのFA支援オフロードフレームワークを提案する。 提案方式は,効率的な通信を行う場合の精度を大幅に低下させることを示す。
  論文  参考訳（メタデータ） (2025-09-16T08:48:44Z)
• Design and Implementation of an FPGA-Based Hardware Accelerator for Transformer [0.0]
  トランスフォーマーベースの大規模言語モデルは、注意層とフィードフォワード層のための行列乗法に大きく依存している。 資源制約付き Xilinx KV260 FPGA 上で,高度に最適化されたタイル行列乗算アクセラレータを提案する。 我々の設計では、永続的なオンチップストレージ、最大データ再利用のための堅牢な2レベルタイリング戦略、およびシストリックのような非ローリング計算エンジンを活用している。
  論文  参考訳（メタデータ） (2025-03-20T22:15:42Z)
• Runtime Tunable Tsetlin Machines for Edge Inference on eFPGAs [0.2294388534633318]
  eFPGAはエッジ機械学習(ML)アプリケーションのハードウェアアクセラレータを低消費電力で設計することができる。 限られたeFPGA論理とメモリは計算能力とモデルサイズを著しく制限した。 提案するeFPGAアクセラレータは、リソース使用量の最小化と、スループットに対するオンフィールドリカバリの柔軟性の実現に重点を置いている。
  論文  参考訳（メタデータ） (2025-02-10T12:49:22Z)
• Fast, Scalable, Energy-Efficient Non-element-wise Matrix Multiplication on FPGA [10.630802853096462]
  現代のニューラルネットワーク(NN)アーキテクチャは、膨大な数の乗算演算に依存している。 本稿ではFPGA上の高スループット,スケーラブル,エネルギー効率の非要素的行列乗算ユニットを提案する。 AMUを使用すると、FPGAベースの量子ニューラルネットワーク(QNN)アクセラレーターの最先端ソリューションよりも最大9倍高いスループットと112倍高いエネルギー効率が得られる。
  論文  参考訳（メタデータ） (2024-07-02T15:28:10Z)
• SWAT: Scalable and Efficient Window Attention-based Transformers Acceleration on FPGAs [3.302913401404089]
  スライディングウィンドウベースの静的スパースアテンションは、入力トークンのアテンションスコープを制限することで問題を緩和する。 本稿では,データフローを意識したFPGAベースのアクセラレーション設計であるSWATを提案する。
  論文  参考訳（メタデータ） (2024-05-27T10:25:08Z)
• Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design [66.39546326221176]
  多くのAIタスクにおいて、注意に基づくニューラルネットワークが普及している。 注意機構とフィードフォワードネットワーク(FFN)の使用は、過剰な計算とメモリ資源を必要とする。 本稿では,注目機構とFFNの両方を近似するために,バタフライの分散パターンを統一したハードウェアフレンドリーな変種を提案する。
  論文  参考訳（メタデータ） (2022-09-20T09:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。