論文の概要: Stochastic Configuration Machines: FPGA Implementation

• arxiv url: http://arxiv.org/abs/2310.19225v1
• Date: Mon, 30 Oct 2023 02:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 13:33:02.507611
• Title: Stochastic Configuration Machines: FPGA Implementation
• Title（参考訳）: 確率的構成マシン:FPGAの実装
• Authors: Matthew J. Felicetti and Dianhui Wang
• Abstract要約: コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
• 参考スコア（独自算出の注目度）: 4.57421617811378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks for industrial applications generally have additional constraints such as response speed, memory size and power usage. Randomized learners can address some of these issues. However, hardware solutions can provide better resource reduction whilst maintaining the model's performance. Stochastic configuration networks (SCNs) are a prime choice in industrial applications due to their merits and feasibility for data modelling. Stochastic Configuration Machines (SCMs) extend this to focus on reducing the memory constraints by limiting the randomized weights to a binary value with a scalar for each node and using a mechanism model to improve the learning performance and result interpretability. This paper aims to implement SCM models on a field programmable gate array (FPGA) and introduce binary-coded inputs to the algorithm. Results are reported for two benchmark and two industrial datasets, including SCM with single-layer and deep architectures.
• Abstract（参考訳）: 産業用ニューラルネットワークは一般的に、応答速度、メモリサイズ、電力使用量などの制約がある。 ランダムな学習者はこれらの問題に対処できる。 しかし、ハードウェアソリューションは、モデルの性能を維持しながら、より良いリソース削減を提供することができる。 確率的構成ネットワーク(SCN)は、データモデリングの利点と実現可能性のために、産業アプリケーションにおいて主要な選択肢である。 Stochastic Configuration Machines (SCM) はこれを拡張して、ランダム化された重み付けを各ノードのスカラーでバイナリ値に制限し、学習性能と結果の解釈性を改善するメカニズムモデルを使用することで、メモリ制約の削減に重点を置いている。 本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、アルゴリズムにバイナリコード入力を導入することを目的とする。 結果は、2つのベンチマークと、SCMと1層アーキテクチャとディープアーキテクチャを含む2つの産業データセットで報告されている。

関連論文リスト

• REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints [2.9209462960232235]
  最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。 本稿では,資源効率の高いDeep Subnetworks (REDS) を導入し,変動資源へのモデル適応に取り組む。 本稿では,サブモデルのテストセット精度の観点から,REDSの優れた性能を示す理論的結果と実証的証拠を提供する。
  論文  参考訳（メタデータ） (2023-11-22T12:34:51Z)
• Stochastic Configuration Machines for Industrial Artificial Intelligence [4.57421617811378]
  産業人工知能(IAI)におけるコンフィグレーションネットワーク(SCN)の役割 本稿では、効率的なモデリングとデータサイズ削減を強調するために、SCMと呼ばれる新しいランダム化学習モデルを提案する。 いくつかのベンチマークデータセットと3つの産業応用に関する実験的研究が行われている。
  論文  参考訳（メタデータ） (2023-08-25T05:52:41Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• ExPAN(N)D: Exploring Posits for Efficient Artificial Neural Network Design in FPGA-based Systems [4.2612881037640085]
  本稿では,ANNに対するポジット数表現方式の有効性と不動点演算の実装効率を解析し,比較する。 本稿では,ANNのための高性能かつ省エネなハードウェア実装を実現するための,新しい固定点変換器Posit to Fix-pointを提案する。
  論文  参考訳（メタデータ） (2020-10-24T11:02:25Z)
• A Generic Network Compression Framework for Sequential Recommender Systems [71.81962915192022]
  シークエンシャルレコメンデーションシステム(SRS)は,ユーザの動的関心を捉え,高品質なレコメンデーションを生成する上で重要な技術となっている。 CpRecと呼ばれる圧縮されたシーケンシャルレコメンデーションフレームワークを提案する。 大規模なアブレーション研究により、提案したCpRecは実世界のSRSデータセットにおいて最大4$sim$8倍の圧縮速度を達成できることを示した。
  論文  参考訳（メタデータ） (2020-04-21T08:40:55Z)
• Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
  畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。 提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
  論文  参考訳（メタデータ） (2020-01-02T17:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。