論文の概要: Retrospective: A CORDIC Based Configurable Activation Function for NN Applications
- arxiv url: http://arxiv.org/abs/2503.14354v1
- Date: Tue, 18 Mar 2025 15:38:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:56.031844
- Title: Retrospective: A CORDIC Based Configurable Activation Function for NN Applications
- Title（参考訳）: 振り返り: NN アプリケーションのための CORDIC ベースの Configurable Activation 関数
- Authors: Omkar Kokane, Gopal Raut, Salim Ullah, Mukul Lokhande, Adam Teman, Akash Kumar, Santosh Kumar Vishvakarma,
- Abstract要約: アクティベーション関数 (AF) の設計のための CORDIC ベースの構成は、リソース制約システムのためのASIC ハードウェア設計を高速化するために提案されている。
AIアプリケーションの進化するニーズに合わせて、DA-VINCI AFを導入します。
- 参考スコア（独自算出の注目度）: 1.3133581869733064
- License:
- Abstract: A CORDIC-based configuration for the design of Activation Functions (AF) was previously suggested to accelerate ASIC hardware design for resource-constrained systems by providing functional reconfigurability. Since its introduction, this new approach for neural network acceleration has gained widespread popularity, influencing numerous designs for activation functions in both academic and commercial AI processors. In this retrospective analysis, we explore the foundational aspects of this initiative, summarize key developments over recent years, and introduce the DA-VINCI AF tailored for the evolving needs of AI applications. This new generation of dynamically configurable and precision-adjustable activation function cores promise greater adaptability for a range of activation functions in AI workloads, including Swish, SoftMax, SeLU, and GeLU, utilizing the Shift-and-Add CORDIC technique. The previously presented design has been optimized for MAC, Sigmoid, and Tanh functionalities and incorporated into ReLU AFs, culminating in an accumulative NEURIC compute unit. These enhancements position NEURIC as a fundamental component in the resource-efficient vector engine for the realization of AI accelerators that focus on DNNs, RNNs/LSTMs, and Transformers, achieving a quality of results (QoR) of 98.5%.
- Abstract（参考訳）: アクティベーション関数 (AF) の設計のための CORDIC ベースの構成は、機能的再構成性を提供することで、リソース制約のあるシステムのためのASICハードウェア設計を加速することを提案した。
ニューラルネットワークアクセラレーションに対するこの新しいアプローチは、導入以来広く普及し、学術的および商業的なAIプロセッサのアクティベーション機能に対する多くの設計に影響を与える。
この振り返り分析では、このイニシアチブの基礎的な側面を探求し、近年の重要な展開を要約し、AIアプリケーションのニーズの進化に合わせて調整されたDA-VINCI AFを紹介します。
この新世代の動的構成可能かつ精度調整可能なアクティベーション関数コアは、Shift-and-Add CORDIC技術を利用して、Swish、SoftMax、SeLU、GeLUなど、AIワークロードのさまざまなアクティベーション関数への適応性を向上する。
前述した設計はMAC、Sigmoid、Tanhの機能に最適化され、ReLU AFsに組み込まれ、累積的なNEURIC計算ユニットで終わる。
これらの強化により、NEURICはDNN、RNN/LSTM、トランスフォーマーに焦点を当てたAIアクセラレータの実現のための資源効率の高いベクトルエンジンの基本コンポーネントとなり、98.5%の質(QoR)を達成した。
関連論文リスト
- DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-11T06:31:03Z) - Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。
実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
論文 参考訳（メタデータ） (2023-11-05T12:03:58Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。
LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
論文 参考訳（メタデータ） (2023-08-23T10:48:28Z) - LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks
for Scalable AI and Embedded Systems [0.0]
我々は2021年にHasaniらによって提案されたLiquid Time-Constant Neural Networkアルゴリズムの改良版を提案する。
LTC-SEの強化は、柔軟性、互換性、コード組織の拡張に焦点を当てている。
これらの改良は、ロボット工学、因果解析、時系列予測など、さまざまな機械学習タスクにおける液体ニューラルネットワークの適用性を高める。
論文 参考訳（メタデータ） (2023-04-18T01:57:10Z) - Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。
まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。
第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
論文 参考訳（メタデータ） (2023-01-13T23:11:14Z) - Fluid Batching: Exit-Aware Preemptive Serving of Early-Exit Neural
Networks on Edge NPUs [74.83613252825754]
スマートエコシステム(smart ecosystems)"は、スタンドアロンではなく、センセーションが同時に行われるように形成されています。
これはデバイス上の推論パラダイムを、エッジにニューラル処理ユニット(NPU)をデプロイする方向にシフトしている。
そこで本研究では,実行時のプリエンプションが到着・終了プロセスによってもたらされる動的性を考慮に入れた,新しい早期終了スケジューリングを提案する。
論文 参考訳（メタデータ） (2022-09-27T15:04:01Z) - FPGA-optimized Hardware acceleration for Spiking Neural Networks [69.49429223251178]
本研究は,画像認識タスクに適用したオフライントレーニングによるSNN用ハードウェアアクセラレータの開発について述べる。
この設計はXilinx Artix-7 FPGAをターゲットにしており、利用可能なハードウェアリソースの40%を合計で使用している。
分類時間を3桁に短縮し、ソフトウェアと比較すると精度にわずか4.5%の影響を与えている。
論文 参考訳（メタデータ） (2022-01-18T13:59:22Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - Regularized Flexible Activation Function Combinations for Deep Neural
Networks [25.129423369243284]
フレキシブルアクティベーションP-Sig-Rampを用いたLSTMモデルは時系列予測において大きな改善をもたらすことが示されている。
提案したP-E2-ReLUは、畳み込みオートエンコーダを用いた画像圧縮タスクにおいて、より優れた、より安定した性能を実現する。
論文 参考訳（メタデータ） (2020-07-26T11:32:52Z) - Discovering Parametric Activation Functions [17.369163074697475]
本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。
CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
論文 参考訳（メタデータ） (2020-06-05T00:25:33Z) - Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。
ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。
これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
論文 参考訳（メタデータ） (2020-02-17T19:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。