論文の概要: A Polynomial Neural network with Controllable Precision and
Human-Readable Topology II: Accelerated Approach Based on Expanded Layer
- arxiv url: http://arxiv.org/abs/2006.02901v1
- Date: Thu, 4 Jun 2020 17:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-25 09:08:25.147902
- Title: A Polynomial Neural network with Controllable Precision and
Human-Readable Topology II: Accelerated Approach Based on Expanded Layer
- Title(参考訳): 制御可能な精度と可読性トポロジーを持つ多項式ニューラルネットワークII:拡張層に基づく高速化アプローチ
- Authors: Gang Liu and Jing Wang
- Abstract要約: 制御可能で可読なニューラルネットワーク(Gang-PNN)は、ネットワークの形でテイラーの拡張である。
CR-PNNを最適化する拡張順序に基づく高速化手法を提案する。
- 参考スコア(独自算出の注目度): 6.2611437040083855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How about converting Taylor series to a network to solve the black-box nature
of Neural Networks? Controllable and readable polynomial neural network (Gang
transform or CR-PNN) is the Taylor expansion in the form of network, which is
about ten times more efficient than typical BPNN for forward-propagation.
Additionally, we can control the approximation precision and explain the
internal structure of the network; thus, it is used for prediction and system
identification. However, as the network depth increases, the computational
complexity increases. Here, we presented an accelerated method based on an
expanded order to optimize CR-PNN. The running speed of the structure of CR-PNN
II is significantly higher than CR-PNN I under preserving the properties of
CR-PNN I.
- Abstract(参考訳): ニューラルネットワークのブラックボックス性を解決するためにTaylorシリーズをネットワークに変換するには?
制御可能で可読な多項式ニューラルネットワーク(Gang transform または CR-PNN)は、ネットワークの形のテイラー展開であり、フォワードプロパゲーションの典型的なBPNNの約10倍の効率である。
さらに、近似精度を制御し、ネットワークの内部構造を説明することができ、予測やシステム同定に使用される。
しかし、ネットワークの深さが大きくなると計算の複雑さが増す。
本稿ではCR-PNNを最適化する拡張順序に基づく高速化手法を提案する。
CR-PNN IIの構造の走行速度はCR-PNN Iの特性を保ちながらCR-PNN Iよりも著しく高い。
関連論文リスト
- Binarized Simplicial Convolutional Neural Networks [6.069611493148632]
双極化単純畳み込みニューラルネットワーク(Bi-SCNN)という,単体錯体上の新しいニューラルネットワークアーキテクチャを提案する。
従来のSimplicial Convolutional Neural Networksと比較して、Bi-SCNNのモデル複雑性の低減は、予測性能を犠牲にすることなく実行時間を短縮する。
実世界の観測と海洋ドリフトデータによる実験により,提案したBi-SCNNは効率的かつ正確であることが確認された。
論文 参考訳(メタデータ) (2024-05-07T08:05:20Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳(メタデータ) (2024-04-15T06:01:48Z) - Parallel Proportional Fusion of Spiking Quantum Neural Network for Optimizing Image Classification [10.069224006497162]
量子・スパイキングニューラルネットワーク(PPF-QSNN)の並列比例融合(Parallel Proportional Fusion of Quantum and Spiking Neural Networks)と呼ばれる新しいアーキテクチャを導入する。
提案したPPF-QSNNは、既存のスパイクニューラルネットワークと、精度、損失、ロバストネスといったメトリクスにわたるシリアル量子ニューラルネットワークの両方より優れている。
本研究は、人工知能計算における量子優位性の発展と応用の基盤となるものである。
論文 参考訳(メタデータ) (2024-04-01T10:35:35Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Learning Ability of Interpolating Deep Convolutional Neural Networks [28.437011792990347]
我々は,深層ニューラルネットワーク,深層畳み込みニューラルネットワーク(DCNN)の重要なファミリーの学習能力について検討する。
非補間DCNNに適切に定義された層を追加することで、非補間DCNNの良好な学習率を維持する補間DCNNが得られることを示す。
我々の研究は、過度に適合したDCNNの一般化の理論的検証を提供する。
論文 参考訳(メタデータ) (2022-10-25T17:22:31Z) - Fast Power Control Adaptation via Meta-Learning for Random Edge Graph
Neural Networks [39.59987601426039]
本稿では,時間変動トポロジに対する電力制御政策の迅速な適応を可能にする高レベル問題について検討する。
我々は,新しいネットワーク構成への数ショット適応を最適化するために,複数のトポロジのデータに一階のメタラーニングを適用した。
論文 参考訳(メタデータ) (2021-05-02T12:43:10Z) - Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper
Representations [12.716429755564821]
DPCN(Deep-Predictive-Coding Network)は、フィードフォワードとフィードバック接続に依存する階層的な生成モデルである。
DPCNの重要な要素は、動的モデルのスパース状態を明らかにする前向きの推論手順である。
我々は,加速近位勾配に基づく実験的および理論的収束性の向上した最適化戦略を提案する。
論文 参考訳(メタデータ) (2021-01-18T02:30:13Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-19T15:28:00Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。