論文の概要: Number Systems for Deep Neural Network Architectures: A Survey
- arxiv url: http://arxiv.org/abs/2307.05035v1
- Date: Tue, 11 Jul 2023 06:19:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 16:12:44.574298
- Title: Number Systems for Deep Neural Network Architectures: A Survey
- Title（参考訳）: ディープニューラルネットワークアーキテクチャのための数値システム:調査
- Authors: Ghada Alsuhli, Vasileios Sakellariou, Hani Saleh, Mahmoud Al-Qutayri,
Baker Mohammad, Thanos Stouraitis
- Abstract要約: ディープニューラルネットワーク(DNN)は、無数の人工知能アプリケーションで実現可能なコンポーネントとなっている。
DNNは、自動運転車や健康アプリケーションなどのケースにおいて、人間よりも優れたパフォーマンスを示すことがある。
- 参考スコア（独自算出の注目度）: 1.4260605984981944
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks (DNNs) have become an enabling component for a myriad of
artificial intelligence applications. DNNs have shown sometimes superior
performance, even compared to humans, in cases such as self-driving, health
applications, etc. Because of their computational complexity, deploying DNNs in
resource-constrained devices still faces many challenges related to computing
complexity, energy efficiency, latency, and cost. To this end, several research
directions are being pursued by both academia and industry to accelerate and
efficiently implement DNNs. One important direction is determining the
appropriate data representation for the massive amount of data involved in DNN
processing. Using conventional number systems has been found to be sub-optimal
for DNNs. Alternatively, a great body of research focuses on exploring suitable
number systems. This article aims to provide a comprehensive survey and
discussion about alternative number systems for more efficient representations
of DNN data. Various number systems (conventional/unconventional) exploited for
DNNs are discussed. The impact of these number systems on the performance and
hardware design of DNNs is considered. In addition, this paper highlights the
challenges associated with each number system and various solutions that are
proposed for addressing them. The reader will be able to understand the
importance of an efficient number system for DNN, learn about the widely used
number systems for DNN, understand the trade-offs between various number
systems, and consider various design aspects that affect the impact of number
systems on DNN performance. In addition, the recent trends and related research
opportunities will be highlighted
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、無数の人工知能アプリケーションで実現可能なコンポーネントとなっている。
DNNは、自動運転車や健康アプリケーションなどのケースにおいて、人間よりも優れたパフォーマンスを示すことがある。
計算複雑性のため、リソース制限されたデバイスにDNNをデプロイすることは、計算複雑性、エネルギー効率、レイテンシ、コストに関連する多くの課題に直面している。
この目的のために、DNNを迅速かつ効率的に実装するために、学術と産業の両方がいくつかの研究方向を追求している。
1つの重要な方向は、DNN処理に関わる大量のデータの適切なデータ表現を決定することである。
従来の数系はDNNに準最適であることが判明した。
あるいは、多くの研究が適切な数系を探索することに焦点を当てている。
本稿では、DNNデータのより効率的な表現のための代替番号システムに関する総合的な調査と議論を行う。
DNNに活用される各種の数値システムについて論じる。
これらの数系がDNNの性能とハードウェア設計に与える影響を考察する。
さらに,本論文では,各数値システムに関わる課題と,それに対応するための様々なソリューションについて述べる。
読者は、DNNの効率的な数値システムの重要性を理解し、DNNの広く使われている数値システムについて学び、様々な数値システム間のトレードオフを理解し、DNNの性能への影響に影響を及ぼす様々な設計側面を考えることができる。
また、近年の動向や関連する研究機会も注目される。
関連論文リスト
- MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via
Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。
ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。
そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
論文 参考訳（メタデータ） (2024-02-21T04:43:12Z) - A Survey on Deep Neural Network Partition over Cloud, Edge and End
Devices [6.248548718574856]
ディープニューラルネットワーク(DNN)パーティションは、DNNを複数の部分に分割し、特定の場所にオフロードする研究問題である。
本稿では,クラウド,エッジ,エンドデバイス上でのDNNパーティションアプローチの最近の進歩と課題について,包括的調査を行う。
論文 参考訳（メタデータ） (2023-04-20T00:17:27Z) - Distributed Graph Neural Network Training: A Survey [51.77035975191926]
グラフニューラルネットワーク(GNN)は、グラフに基づいてトレーニングされたディープラーニングモデルの一種で、さまざまな領域にうまく適用されている。
GNNの有効性にもかかわらず、GNNが大規模グラフに効率的にスケールすることは依然として困難である。
治療法として、分散コンピューティングは大規模GNNをトレーニングするための有望なソリューションとなる。
論文 参考訳（メタデータ） (2022-11-01T01:57:00Z) - Revisiting PINNs: Generative Adversarial Physics-informed Neural
Networks and Point-weighting Method [70.19159220248805]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)を数値的に解くためのディープラーニングフレームワークを提供する
本稿では,GA機構とPINNの構造を統合したGA-PINNを提案する。
本稿では,Adaboost法の重み付け戦略からヒントを得て,PINNのトレーニング効率を向上させるためのPW法を提案する。
論文 参考訳（メタデータ） (2022-05-18T06:50:44Z) - Hardware Approximate Techniques for Deep Neural Network Accelerators: A
Survey [4.856755747052137]
Deep Neural Networks(DNN)は非常に人気があり、機械学習(ML)における様々な認知タスクのパフォーマンスが高い。
近年のDNNの進歩は多くのタスクにおいて人間の精度を超えたが、計算の複雑さのコストがかかる。
本稿では,DNN加速器のハードウェア近似技術に関する包括的調査と解析を行う。
論文 参考訳（メタデータ） (2022-03-16T16:33:13Z) - SyReNN: A Tool for Analyzing Deep Neural Networks [8.55884254206878]
ディープニューラルネットワーク(DNN)は、さまざまな重要なドメインで急速に人気を集めています。
本稿では,そのシンボル表現を計算してDNNの理解と分析を行うSyReNNを紹介する。
論文 参考訳（メタデータ） (2021-01-09T00:27:23Z) - Deep Serial Number: Computational Watermarking for DNN Intellectual
Property Protection [53.40245698216239]
DSN(Deep Serial Number)はディープニューラルネットワーク(DNN)に特化した透かしアルゴリズムである。
従来のソフトウェアIPの保護においてシリアル番号に着想を得て,DNNに埋め込まれたシリアル番号の最初の実装を提案する。
論文 参考訳（メタデータ） (2020-11-17T21:42:40Z) - Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。
DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。
コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
論文 参考訳（メタデータ） (2020-06-30T14:56:05Z) - CodNN -- Robust Neural Networks From Coded Classification [27.38642191854458]
ディープニューラルネットワーク(Deep Neural Networks、DNN)は、現在進行中の情報革命における革命的な力である。
DNNは、敵対的であろうとランダムであろうと、ノイズに非常に敏感である。
これは、DNNのハードウェア実装と、自律運転のような重要なアプリケーションへの展開において、根本的な課題となる。
提案手法により,DNNのデータ層あるいは内部層は誤り訂正符号で符号化され,ノイズ下での計算が成功することが保証される。
論文 参考訳（メタデータ） (2020-04-22T17:07:15Z) - GraN: An Efficient Gradient-Norm Based Detector for Adversarial and
Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。
GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。
GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-04-20T10:09:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。