論文の概要: QuadraLib: A Performant Quadratic Neural Network Library for
Architecture Optimization and Design Exploration
- arxiv url: http://arxiv.org/abs/2204.01701v1
- Date: Fri, 1 Apr 2022 18:06:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 06:07:30.995637
- Title: QuadraLib: A Performant Quadratic Neural Network Library for
Architecture Optimization and Design Exploration
- Title(参考訳): QuadraLib: アーキテクチャ最適化と設計探索のための高性能な二次ニューラルネットワークライブラリ
- Authors: Zirui Xu, Fuxun Yu, Jinjun Xiong, Xiang Chen
- Abstract要約: Quadratic Deep Neuron Networks (QDNN) は1次DNNよりも非線形性や学習能力が優れている。
複数の学習課題における予測精度と計算量に関する性能が良好である。
- 参考スコア(独自算出の注目度): 31.488940932186246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The significant success of Deep Neural Networks (DNNs) is highly promoted by
the multiple sophisticated DNN libraries. On the contrary, although some work
have proved that Quadratic Deep Neuron Networks (QDNNs) show better
non-linearity and learning capability than the first-order DNNs, their neuron
design suffers certain drawbacks from theoretical performance to practical
deployment. In this paper, we first proposed a new QDNN neuron architecture
design, and further developed QuadraLib, a QDNN library to provide architecture
optimization and design exploration for QDNNs. Extensive experiments show that
our design has good performance regarding prediction accuracy and computation
consumption on multiple learning tasks.
- Abstract(参考訳): Deep Neural Networks (DNN) の成功は、複数の高度なDNNライブラリによって高く評価されている。
それとは対照的に、準線形ディープニューロンネットワーク(QDNN)は1次DNNよりも非線形性や学習能力が優れていることを証明した研究もあるが、そのニューロン設計は理論的性能から実用的展開へのある種の欠点を負っている。
本稿ではまず,新しいQDNNニューロンアーキテクチャ設計を提案し,アーキテクチャ最適化とQDNN設計のためのQDNNライブラリであるQuadraLibを開発した。
複数の学習課題における予測精度と計算量に関して,我々の設計は優れた性能を示した。
関連論文リスト
- Rethinking Residual Connection in Training Large-Scale Spiking Neural
Networks [10.286425749417216]
スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。
非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
論文 参考訳(メタデータ) (2023-11-09T06:48:29Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳(メタデータ) (2022-09-04T06:45:33Z) - AutoSNN: Towards Energy-Efficient Spiking Neural Networks [26.288681480713695]
スパイキングニューラルネットワーク(SNN)は、脳内の情報伝達を模倣する。
これまでのほとんどの研究は訓練方法のみに焦点を合わせており、建築の影響はめったに研究されていない。
我々はAutoSNNと呼ばれるスパイク対応ニューラルネットワーク検索フレームワークを提案する。
論文 参考訳(メタデータ) (2022-01-30T06:12:59Z) - Deep Reinforcement Learning with Spiking Q-learning [56.13654667729119]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。
SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文 参考訳(メタデータ) (2022-01-21T16:42:11Z) - Evolving Deep Neural Networks for Collaborative Filtering [3.302151868255641]
コラボレーティブ・フィルタリング(CF)は、ユーザとイテムの相互作用をモデル化するためのレコメンデータシステムで広く使われている。
ディープニューラルネットワーク(DNN)の設計プロセスにおける遺伝的アルゴリズムの導入
論文 参考訳(メタデータ) (2021-11-15T13:57:31Z) - Keys to Accurate Feature Extraction Using Residual Spiking Neural
Networks [1.101002667958165]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった
本稿では,現代のスパイク建築の鍵となる構成要素について述べる。
我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
論文 参考訳(メタデータ) (2021-11-10T21:29:19Z) - Third ArchEdge Workshop: Exploring the Design Space of Efficient Deep
Neural Networks [14.195694804273801]
本稿では,効率的な深層ニューラルネットワーク(DNN)の設計空間探索に関する最近の研究の概要を紹介する。
1)静的アーキテクチャ設計の効率と(2)動的モデル実行の効率の2つの側面を網羅する。
今後数年で研究の注目を集めるであろうオープンな質問をいくつか取り上げる。
論文 参考訳(メタデータ) (2020-11-22T01:56:46Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳(メタデータ) (2020-11-12T08:32:04Z) - Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。
少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。
本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文 参考訳(メタデータ) (2020-07-14T07:43:09Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳(メタデータ) (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。