論文の概要: Efficient Finite Initialization for Tensorized Neural Networks
- arxiv url: http://arxiv.org/abs/2309.06577v1
- Date: Mon, 11 Sep 2023 08:05:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-14 16:21:05.690896
- Title: Efficient Finite Initialization for Tensorized Neural Networks
- Title（参考訳）: テンソル化ニューラルネットワークの効率的な有限初期化
- Authors: Alejandro Mata Ali, I\~nigo Perez Delgado, Marina Ristol Roura and
Aitor Moreno Fdez. de Leceta
- Abstract要約: 本稿では,行列のパラメータの爆発を回避する手法として,テンソル化ニューラルネットワークの層の初期化手法を提案する。
この方法の中核は、この層のフロベニウスノルムを反復的部分形式で用いることである。
i3BQuantumリポジトリのJupyter Notebookで利用可能な任意のレイヤ上で実行するPython関数を作成します。
- 参考スコア（独自算出の注目度）: 44.99833362998488
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel method for initializing layers of tensorized neural
networks in a way that avoids the explosion of the parameters of the matrix it
emulates. The method is intended for layers with a high number of nodes in
which there is a connection to the input or output of all or most of the nodes.
The core of this method is the use of the Frobenius norm of this layer in an
iterative partial form, so that it has to be finite and within a certain range.
This norm is efficient to compute, fully or partially for most cases of
interest. We apply the method to different layers and check its performance. We
create a Python function to run it on an arbitrary layer, available in a
Jupyter Notebook in the i3BQuantum repository:
https://github.com/i3BQuantumTeam/Q4Real/blob/e07c827651ef16bcf74590ab965ea3985143f891/Quantum-Inspi red%20Variational%20Methods/Normalization_process.ipynb
- Abstract（参考訳）: 本稿では,テンソル化ニューラルネットワークの層をエミュレートする行列のパラメータの爆発を回避する方法で初期化する新しい手法を提案する。
この方法は、全てのノードまたはほとんどのノードの入力または出力への接続があるノード数の多い層を対象としている。
この方法の核心は、この層のフロベニウスノルムを反復的な部分形式で使うことである。
この規範は計算が効率的で、ほとんどの場合、あるいは部分的には計算が容易である。
この手法を異なる層に適用し,その性能を確認した。
https://github.com/i3BQuantumTeam/Q4Real/blob/e07c827651ef16bcf74590ab965ea3985143f891/Quantum-Inspi red%20Variational%20Methods/Normalization_process.ipynb。
関連論文リスト
- BALI: Learning Neural Networks via Bayesian Layerwise Inference [6.7819070167076045]
我々はベイズニューラルネットワークを学習し,それを多変量ベイズ線形回帰モデルのスタックとして扱う新しい手法を提案する。
主なアイデアは、各レイヤの目標出力を正確に知っていれば、階層的に後方に推論することである。
これらの擬似ターゲットをフォワードパスから出力する層として定義し、対象関数のバックプロパゲーションによって更新する。
論文 参考訳（メタデータ） (2024-11-18T22:18:34Z) - Old Optimizer, New Norm: An Anthology [3.471637998699967]
それぞれの手法は、凸性の仮定を伴わない正方形の一階法として理解することができると論じる。
この観察を一般化することにより、トレーニングアルゴリズムのための新しいデザインスペースをグラフ化する。
ニューラルネットワークを慎重に成熟させるというこのアイデアが、より安定し、スケーラブルで、実際に高速なトレーニングにつながることを期待しています。
論文 参考訳（メタデータ） (2024-09-30T14:26:12Z) - Spectral Norm of Convolutional Layers with Circular and Zero Paddings [55.233197272316275]
畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。
また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
論文 参考訳（メタデータ） (2024-01-31T23:48:48Z) - A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。
提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
論文 参考訳（メタデータ） (2022-02-08T20:01:48Z) - Preprint: Norm Loss: An efficient yet effective regularization method
for deep neural networks [7.214681039134488]
斜め多様体に基づく重み付き軟規則化法を提案する。
本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
論文 参考訳（メタデータ） (2021-03-11T10:24:49Z) - Pooling Methods in Deep Neural Networks, a Review [6.1678491628787455]
プーリングレイヤは、前のレイヤから来るフィーチャーマップのダウンサンプリングを実行する重要なレイヤである。
本稿では,有名な,有用なプーリング手法について概説する。
論文 参考訳（メタデータ） (2020-09-16T06:11:40Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳（メタデータ） (2020-05-04T20:03:21Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳（メタデータ） (2020-04-06T19:52:48Z) - Backward Feature Correction: How Deep Learning Performs Deep
(Hierarchical) Learning [66.05472746340142]
本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。
我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
論文 参考訳（メタデータ） (2020-01-13T17:28:29Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。