Fugu-MT 論文翻訳(概要): A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks

論文の概要: A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks

arxiv url: http://arxiv.org/abs/2101.09693v1
Date: Sun, 24 Jan 2021 12:02:12 GMT
ステータス: 処理完了
システム内更新日: 2021-03-16 09:17:16.401449
Title: A2P-MANN: Adaptive Attention Inference Hops Pruned Memory-Augmented Neural Networks
Title（参考訳）: A2P-MANN: メモリ拡張ニューラルネットワークのアダプティブアテンション推論ホップ
Authors: Mohsen Ahmadzadeh, Mehdi Kamal, Ali Afzali-Kusha, Massoud Pedram
Abstract要約: A2P-MANNと呼ばれるオンラインアダプティブアプローチを提案し、メモリ拡張ニューラルネットワークで必要な注意推論ホップ数を制限する。この技術は、正しい解を抽出する際に不要な大量の計算を除去する。この手法の有効性は,bAbIデータセットの質問応答(QA)タスクを用いて評価する。
参考スコア（独自算出の注目度）: 3.682712058535653
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, to limit the number of required attention inference hops in memory-augmented neural networks, we propose an online adaptive approach called A2P-MANN. By exploiting a small neural network classifier, an adequate number of attention inference hops for the input query is determined. The technique results in elimination of a large number of unnecessary computations in extracting the correct answer. In addition, to further lower computations in A2P-MANN, we suggest pruning weights of the final FC (fully-connected) layers. To this end, two pruning approaches, one with negligible accuracy loss and the other with controllable loss on the final accuracy, are developed. The efficacy of the technique is assessed by using the twenty question-answering (QA) tasks of bAbI dataset. The analytical assessment reveals, on average, more than 42% fewer computations compared to the baseline MANN at the cost of less than 1% accuracy loss. In addition, when used along with the previously published zero-skipping technique, a computation count reduction of up to 68% is achieved. Finally, when the proposed approach (without zero-skipping) is implemented on the CPU and GPU platforms, up to 43% runtime reduction is achieved.
Abstract（参考訳）: 本研究では,記憶型ニューラルネットワークにおける注意推論ホップ数を制限するため,a2p-mannと呼ばれるオンライン適応手法を提案する。小さなニューラルネットワーク分類器を利用することで、入力クエリに対する十分な数の注目推測ホップを決定する。この技術は、正しい解を抽出する際に不要な大量の計算を除去する。さらに,A2P-MANNの計算量をさらに小さくするために,最終FC層(全接続層)のプルーニング重みを提案する。この目的のために、無視可能な精度の損失と最終的な精度の制御可能な損失を持つ2つのプルーニングアプローチが開発されている。この手法の有効性は,bAbIデータセットの質問応答(QA)タスクを用いて評価する。分析評価は、平均して、1%未満の精度損失のコストでベースラインMANNと比較して42%以上少ない計算を明らかにします。また、以前に公表したゼロスキップ技術と併用すると、最大68%の計算量削減が達成される。最後に、提案するアプローチ(ゼロスキップなし)がcpuとgpuプラットフォームに実装されると、最大43%のランタイム削減が達成される。

関連論文リスト

Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。トラクタブル回路において,これを効率的に計算する方法を示す。我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文参考訳（メタデータ） (2023-02-28T00:04:22Z)
Dual Accuracy-Quality-Driven Neural Network for Prediction Interval Generation [0.0]
本稿では,回帰に基づくニューラルネットワークの予測間隔を自動的に学習する手法を提案する。我々の主な貢献は、PI世代ネットワークのための新しい損失関数の設計である。合成データセット,8つのベンチマークデータセット,および実世界の収量予測データセットを用いて実験したところ,本手法は有意な確率カバレッジを維持することができた。
論文参考訳（メタデータ） (2022-12-13T05:03:16Z)
Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文参考訳（メタデータ） (2022-11-22T15:08:05Z)
Training Neural Networks in Single vs Double Precision [8.036150169408241]
共役勾配アルゴリズムとRMSpropアルゴリズムは平均二乗誤差に最適化される。実験の結果,直線探索が改良された場合,単精度は2倍精度で追従できることがわかった。強い非線形問題に対して、両方のアルゴリズムクラスは平均二乗誤差の点で解がかなり乏しいだけである。
論文参考訳（メタデータ） (2022-09-15T11:20:53Z)
Spike time displacement based error backpropagation in convolutional spiking neural networks [0.6193838300896449]
本稿では,STiDi-BPアルゴリズムを拡張し,より深く,畳み込み型アーキテクチャに応用する。 MNISTとFashion-MNISTの2つのベンチマークに基づく画像分類タスクの評価結果から,このアルゴリズムが深部SNNに適用可能であることを確認した。後進パスで更新される実数値重みと、フィードフォワードプロセスで使用される2値重みと、その記号と2値重みの2つの重みを持つ畳み込みSNNを考える。
論文参考訳（メタデータ） (2021-08-31T05:18:59Z)
n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization [0.0]
パワーオブツー(PoT)量子化は、リソース制約ハードウェア上でのディープニューラルネットワークのビット演算数を減少させる。 PoT量子化は、表現能力が限られているため、深刻な精度低下を引き起こす。メモリ効率の高い方法で精度とコストを両立した効率的なPoT量子化方式を提案する。
論文参考訳（メタデータ） (2021-03-22T10:13:12Z)
AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文参考訳（メタデータ） (2020-07-14T09:07:29Z)
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文参考訳（メタデータ） (2020-06-15T16:09:17Z)
Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。認証精度は5.78%,44.96%,43.19%であった。
論文参考訳（メタデータ） (2020-06-01T05:55:18Z)
Dithered backprop: A sparse and quantized backpropagation algorithm for more efficient deep neural network training [18.27946970159625]
ディザド・バックプロップと名付けたバックプロップの計算コストを削減する手法を提案する。本手法は,8ビットまでのトレーニングのビット精度を低下させる,最先端のトレーニング手法と完全互換であることを示す。
論文参考訳（メタデータ） (2020-04-09T17:59:26Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。