論文の概要: Efficient and Mathematically Robust Operations for Certified Neural Networks Inference

• arxiv url: http://arxiv.org/abs/2401.08225v1
• Date: Tue, 16 Jan 2024 09:22:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 14:37:30.595251
• Title: Efficient and Mathematically Robust Operations for Certified Neural Networks Inference
• Title（参考訳）: 認証ニューラルネットワーク推論のための効率的かつ数学的ロバストな演算
• Authors: Fabien Geyer, Johannes Freitag, Tobias Schulz, Sascha Uhrig
• Abstract要約: マシンラーニング(ML)とニューラルネットワーク(NN)の認定に関する懸念が高まっている。 本稿では,IEEE 754浮動小数点演算に関わる課題を取り上げ,推論段階と必要なハードウェアについて述べる。 様々な和と点積のアルゴリズムを評価することにより、非連想性に関する問題を緩和することを目指している。
• 参考スコア（独自算出の注目度）: 3.666326242924816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, machine learning (ML) and neural networks (NNs) have gained widespread use and attention across various domains, particularly in transportation for achieving autonomy, including the emergence of flying taxis for urban air mobility (UAM). However, concerns about certification have come up, compelling the development of standardized processes encompassing the entire ML and NN pipeline. This paper delves into the inference stage and the requisite hardware, highlighting the challenges associated with IEEE 754 floating-point arithmetic and proposing alternative number representations. By evaluating diverse summation and dot product algorithms, we aim to mitigate issues related to non-associativity. Additionally, our exploration of fixed-point arithmetic reveals its advantages over floating-point methods, demonstrating significant hardware efficiencies. Employing an empirical approach, we ascertain the optimal bit-width necessary to attain an acceptable level of accuracy, considering the inherent complexity of bit-width optimization.
• Abstract（参考訳）: 近年、機械学習(ml)とニューラルネットワーク(nns)は、特に都市空力用空飛ぶタクシー(uam)の出現を含む自律性を達成するための輸送において、さまざまなドメインで広く使われ、注目されている。 しかし、認証に関する懸念が浮上し、MLとNNパイプライン全体を含む標準化プロセスの開発が促進された。 本稿では,ieee 754浮動小数点演算に関する課題に注目し,代替数表現を提案する。 多様な要約とドット製品アルゴリズムを評価することで,非結合性に関わる問題を緩和することを目指している。 さらに,固定点演算の探索により,浮動小数点法に対する利点が明らかになり,ハードウェア効率が著しく向上した。 経験的アプローチを用いて、ビット幅最適化の固有の複雑さを考慮して、許容される精度を達成するために必要な最適なビット幅を確認する。

関連論文リスト

• Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons [0.5243460995467893]
  スパイキングニューラルネットワーク(SNN)は、TinyMLの最先端ソリューションとして際立っている。 本稿では,第1次Leaky Integrate-and-Fire(LIF)ニューロンモデルに基づく新しいSNNアーキテクチャを提案する。 ハードウェアフレンドリーなLIF設計も提案され、Xilinx Artix-7 FPGA上で実装されている。
  論文  参考訳（メタデータ） (2024-11-03T16:42:10Z)
• PIPE : Parallelized Inference Through Post-Training Quantization Ensembling of Residual Expansions [23.1120983784623]
  PIPEは、残差誤差展開とグループ間隔とアンサンブル近似を利用して、より良い並列化を実現する量子化法である。 すべてのベンチマークアプリケーション(ビジョンからNLPタスクまで)、アーキテクチャ(ConvNet、トランスフォーマー、ビット幅)において、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-27T13:29:34Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• FiFo: Fishbone Forwarding in Massive IoT Networks [3.7813000491275233]
  大規模なIoT(Internet of Things)ネットワークには,緊急メッセージや災害メッセージの迅速な配信を含む,幅広いアプリケーションがある。 ベンチマークアルゴリズムは、このようなアプリケーションでメッセージ配信を行うために、これまで開発されてきたが、いくつかの実践的な課題がある。 本研究では,魚骨フォワード法 (FiFo) を提案する。
  論文  参考訳（メタデータ） (2022-11-02T15:55:17Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• ExPAN(N)D: Exploring Posits for Efficient Artificial Neural Network Design in FPGA-based Systems [4.2612881037640085]
  本稿では,ANNに対するポジット数表現方式の有効性と不動点演算の実装効率を解析し,比較する。 本稿では,ANNのための高性能かつ省エネなハードウェア実装を実現するための,新しい固定点変換器Posit to Fix-pointを提案する。
  論文  参考訳（メタデータ） (2020-10-24T11:02:25Z)
• Distributed Optimization, Averaging via ADMM, and Network Topology [0.0]
  センサローカライゼーションの現実問題において,ネットワークトポロジと異なるアルゴリズムの収束率の関係について検討する。 また、ADMMと持ち上げマルコフ連鎖の間の興味深い関係を示すとともに、その収束を明示的に特徴づける。
  論文  参考訳（メタデータ） (2020-09-05T21:44:39Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。