論文の概要: Deep Convolutional Neural Networks with Unitary Weights
- arxiv url: http://arxiv.org/abs/2102.11855v1
- Date: Tue, 23 Feb 2021 18:36:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-24 14:08:01.508769
- Title: Deep Convolutional Neural Networks with Unitary Weights
- Title(参考訳): ユニタリ重みを持つ深層畳み込みニューラルネットワーク
- Authors: Hao-Yuan Chang, Kang L. Wang (University of California, Los Angeles)
- Abstract要約: 統一畳み込みニューラルネットワークは、競合予測精度を維持しつつ、推論速度を最大32%高速化する。
正方形シナプス重みに制限された先行技術とは異なり、ユニタリネットワークを任意の大きさと次元の重みに拡張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While normalizations aim to fix the exploding and vanishing gradient problem
in deep neural networks, they have drawbacks in speed or accuracy because of
their dependency on the data set statistics. This work is a comprehensive study
of a novel method based on unitary synaptic weights derived from Lie Group to
construct intrinsically stable neural systems. Here we show that unitary
convolutional neural networks deliver up to 32% faster inference speeds while
maintaining competitive prediction accuracy. Unlike prior arts restricted to
square synaptic weights, we expand the unitary networks to weights of any size
and dimension.
- Abstract(参考訳): 正規化は、ディープニューラルネットワークにおける爆発的および消滅的な勾配問題を修正することを目的としているが、データセット統計に依存するため、速度や精度の欠点がある。
本研究は,内在的に安定な神経系を構築するためのリー群から導かれるユニタリシナプス重みに基づく新しい手法の包括的研究である。
ここでは,ユニタリ畳み込みニューラルネットワークが,競合予測精度を維持しつつ推論速度を最大32%高速化することを示す。
正方形シナプス重みに制限された先行技術とは異なり、ユニタリネットワークを任意の大きさと次元の重みに拡張する。
関連論文リスト
- A comprehensive study of spike and slab shrinkage priors for
structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。
構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。
本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-08-17T17:14:18Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Improving Deep Neural Network Random Initialization Through Neuronal
Rewiring [14.484787903053208]
神経強度のばらつきは低下するが, 神経強度のばらつきは低下し, 神経強度のばらつきは改善する。
次に、その強度に基づいて、優先アタッチメント(PA)ルールに従って神経細胞接続をリワイヤする新しい方法を提案する。
この意味では、PAは重みの大きさと分布を保ちながら、接続を再編成するのみである。
論文 参考訳(メタデータ) (2022-07-17T11:52:52Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - ResiliNet: Failure-Resilient Inference in Distributed Neural Networks [56.255913459850674]
ResiliNetは、分散ニューラルネットワークにおいて物理ノード障害に耐性を持たせるためのスキームである。
Failoutは、ドロップアウトを使用したトレーニング中の物理ノード障害条件をシミュレートし、分散ニューラルネットワークのレジリエンスを改善するように設計されている。
論文 参考訳(メタデータ) (2020-02-18T05:58:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。