論文の概要: Efficient Finite Initialization for Tensorized Neural Networks
- arxiv url: http://arxiv.org/abs/2309.06577v2
- Date: Mon, 25 Sep 2023 09:51:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 00:39:29.033645
- Title: Efficient Finite Initialization for Tensorized Neural Networks
- Title(参考訳): テンソル化ニューラルネットワークの効率的な有限初期化
- Authors: Alejandro Mata Ali, I\~nigo Perez Delgado, Marina Ristol Roura and
Aitor Moreno Fdez. de Leceta
- Abstract要約: 本稿では,行列のパラメータの爆発を回避する手法として,テンソル化ニューラルネットワークの層の初期化手法を提案する。
この方法の中核は、この層のフロベニウスノルムを反復的部分形式で用いることである。
i3BQuantumリポジトリのJupyter Notebookで利用可能な任意のレイヤ上で実行するPython関数を作成します。
- 参考スコア(独自算出の注目度): 44.99833362998488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel method for initializing layers of tensorized neural
networks in a way that avoids the explosion of the parameters of the matrix it
emulates. The method is intended for layers with a high number of nodes in
which there is a connection to the input or output of all or most of the nodes.
The core of this method is the use of the Frobenius norm of this layer in an
iterative partial form, so that it has to be finite and within a certain range.
This norm is efficient to compute, fully or partially for most cases of
interest. We apply the method to different layers and check its performance. We
create a Python function to run it on an arbitrary layer, available in a
Jupyter Notebook in the i3BQuantum repository:
https://github.com/i3BQuantumTeam/Q4Real/blob/e07c827651ef16bcf74590ab965ea3985143f891/Quantum-Inspi red%20Variational%20Methods/Normalization_process.ipynb
- Abstract(参考訳): 本稿では,テンソル化ニューラルネットワークの層をエミュレートする行列のパラメータの爆発を回避する方法で初期化する新しい手法を提案する。
この方法は、全てのノードまたはほとんどのノードの入力または出力への接続があるノード数の多い層を対象としている。
この方法の核心は、この層のフロベニウスノルムを反復的な部分形式で使うことである。
この規範は計算が効率的で、ほとんどの場合、あるいは部分的には計算が容易である。
この手法を異なる層に適用し,その性能を確認した。
https://github.com/i3BQuantumTeam/Q4Real/blob/e07c827651ef16bcf74590ab965ea3985143f891/Quantum-Inspi red%20Variational%20Methods/Normalization_process.ipynb。
関連論文リスト
- Exact, Fast and Expressive Poisson Point Processes via Squared Neural
Families [23.337256081314518]
2層ニューラルネットワークの2乗ノルムによる強度関数のパラメータ化により、正方形ニューラルポアソン点過程(SNEPPP)を導入する。
隠れた層が固定され、第2層が単一ニューロンを持つ場合、我々のアプローチは以前の正方形ガウス過程やカーネル法と類似している。
実および合成ベンチマークでSNEPPPを実証し、ソフトウェア実装を提供する。
論文 参考訳(メタデータ) (2024-02-14T22:32:00Z) - Spectral Norm of Convolutional Layers with Circular and Zero Paddings [55.233197272316275]
畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。
また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
論文 参考訳(メタデータ) (2024-01-31T23:48:48Z) - A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。
提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文 参考訳(メタデータ) (2022-02-08T20:01:48Z) - REFINE: Random RangE FInder for Network Embedding [31.674649135019386]
本稿では,Random RangE FInderベースのネットワーク埋め込み(REFINE)アルゴリズムを提案する。
REFINEはProNEよりも10倍高速で、LINE、DeepWalk、Node2Vec、GraRep、およびHopeといった他のメソッドよりも10-400倍高速である。
論文 参考訳(メタデータ) (2021-08-24T12:57:01Z) - A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。
本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
論文 参考訳(メタデータ) (2020-10-29T22:53:10Z) - Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。
本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
論文 参考訳(メタデータ) (2020-09-21T14:46:01Z) - Pooling Methods in Deep Neural Networks, a Review [6.1678491628787455]
プーリングレイヤは、前のレイヤから来るフィーチャーマップのダウンサンプリングを実行する重要なレイヤである。
本稿では,有名な,有用なプーリング手法について概説する。
論文 参考訳(メタデータ) (2020-09-16T06:11:40Z) - Go Wide, Then Narrow: Efficient Training of Deep Thin Networks [62.26044348366186]
本稿では,深層ネットワークを理論的保証で訓練する効率的な手法を提案する。
我々の方法でのトレーニングにより、ResNet50はResNet101を上回り、BERT BaseはBERT Largeに匹敵する。
論文 参考訳(メタデータ) (2020-07-01T23:34:35Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳(メタデータ) (2020-04-06T19:52:48Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳(メタデータ) (2020-01-13T17:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。