Fugu-MT 論文翻訳(概要): QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration

論文の概要: QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration

arxiv url: http://arxiv.org/abs/2204.01701v1
Date: Fri, 1 Apr 2022 18:06:54 GMT
ステータス: 処理完了
システム内更新日: 2022-04-08 06:07:30.995637
Title: QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration
Title（参考訳）: QuadraLib: アーキテクチャ最適化と設計探索のための高性能な二次ニューラルネットワークライブラリ
Authors: Zirui Xu, Fuxun Yu, Jinjun Xiong, Xiang Chen
Abstract要約: Quadratic Deep Neuron Networks (QDNN) は1次DNNよりも非線形性や学習能力が優れている。複数の学習課題における予測精度と計算量に関する性能が良好である。
参考スコア（独自算出の注目度）: 31.488940932186246
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The significant success of Deep Neural Networks (DNNs) is highly promoted by the multiple sophisticated DNN libraries. On the contrary, although some work have proved that Quadratic Deep Neuron Networks (QDNNs) show better non-linearity and learning capability than the first-order DNNs, their neuron design suffers certain drawbacks from theoretical performance to practical deployment. In this paper, we first proposed a new QDNN neuron architecture design, and further developed QuadraLib, a QDNN library to provide architecture optimization and design exploration for QDNNs. Extensive experiments show that our design has good performance regarding prediction accuracy and computation consumption on multiple learning tasks.
Abstract（参考訳）: Deep Neural Networks (DNN) の成功は、複数の高度なDNNライブラリによって高く評価されている。それとは対照的に、準線形ディープニューロンネットワーク(QDNN)は1次DNNよりも非線形性や学習能力が優れていることを証明した研究もあるが、そのニューロン設計は理論的性能から実用的展開へのある種の欠点を負っている。本稿ではまず,新しいQDNNニューロンアーキテクチャ設計を提案し,アーキテクチャ最適化とQDNN設計のためのQDNNライブラリであるQuadraLibを開発した。複数の学習課題における予測精度と計算量に関して,我々の設計は優れた性能を示した。

関連論文リスト

NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
論文参考訳（メタデータ） (2024-08-28T02:17:58Z)
Direct Training High-Performance Deep Spiking Neural Networks: A Review of Theories and Methods [33.377770671553336]
スパイキングニューラルネットワーク(SNN)は、人工ニューラルネットワーク(ANN)の代替として有望なエネルギー効率を提供する本稿では,より深いSNNを高い性能で訓練するための理論と手法を要約する新しい視点を提供する。
論文参考訳（メタデータ） (2024-05-06T09:58:54Z)
Rethinking Residual Connection in Training Large-Scale Spiking Neural Networks [10.286425749417216]
スパイキングニューラルネットワーク(SNN)は、最も有名な脳にインスパイアされたモデルとして知られている。非微分可能なスパイク機構により、大規模SNNの訓練が困難になる。
論文参考訳（メタデータ） (2023-11-09T06:48:29Z)
From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。提案した非線形署名の実用性を明らかにするための実験結果について述べる。
論文参考訳（メタデータ） (2023-10-17T17:50:22Z)
A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文参考訳（メタデータ） (2023-05-26T02:52:12Z)
AutoSNN: Towards Energy-Efficient Spiking Neural Networks [26.288681480713695]
スパイキングニューラルネットワーク(SNN)は、脳内の情報伝達を模倣する。これまでのほとんどの研究は訓練方法のみに焦点を合わせており、建築の影響はめったに研究されていない。我々はAutoSNNと呼ばれるスパイク対応ニューラルネットワーク検索フレームワークを提案する。
論文参考訳（メタデータ） (2022-01-30T06:12:59Z)
Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
論文参考訳（メタデータ） (2022-01-21T16:42:11Z)
Keys to Accurate Feature Extraction Using Residual Spiking Neural Networks [1.101002667958165]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワーク(ANN)の代替として興味深いものになった本稿では,現代のスパイク建築の鍵となる構成要素について述べる。我々は、成功しているResNetアーキテクチャのスパイクバージョンを設計し、異なるコンポーネントとトレーニング戦略をテストする。
論文参考訳（メタデータ） (2021-11-10T21:29:19Z)
Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文参考訳（メタデータ） (2020-11-12T08:32:04Z)
Attentive Graph Neural Networks for Few-Shot Learning [74.01069516079379]
グラフニューラルネットワーク(GNN)は、数ショットの学習タスクを含む多くの困難なアプリケーションにおいて、優れたパフォーマンスを示している。少数のサンプルからモデルを学習し、一般化する能力があるにもかかわらず、GNNは通常、モデルが深くなるにつれて、過度な過度な適合と過度なスムーシングに悩まされる。本稿では,三重注意機構を組み込むことにより,これらの課題に対処するための新しい注意型GNNを提案する。
論文参考訳（メタデータ） (2020-07-14T07:43:09Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。