論文の概要: Efficient Finite Initialization for Tensorized Neural Networks

• arxiv url: http://arxiv.org/abs/2309.06577v3
• Date: Fri, 04 Oct 2024 11:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:07:31.125540
• Title: Efficient Finite Initialization for Tensorized Neural Networks
• Title（参考訳）: テンソル化ニューラルネットワークの効率的な有限初期化
• Authors: Alejandro Mata Ali, Iñigo Perez Delgado, Marina Ristol Roura, Aitor Moreno Fdez. de Leceta,
• Abstract要約: 本稿では,行列のパラメータの爆発を回避する手法として,テンソル化ニューラルネットワークの層の初期化手法を提案する。 i3BQuantumリポジトリのJupyter Notebookで利用可能な任意のレイヤ上で実行するPython関数を作成します。
• 参考スコア（独自算出の注目度）: 41.94295877935867
• License:
• Abstract: We present a novel method for initializing layers of tensorized neural networks in a way that avoids the explosion of the parameters of the matrix it emulates. The method is intended for layers with a high number of nodes in which there is a connection to the input or output of all or most of the nodes, we cannot or do not want to store/calculate all the elements of the represented layer and they follow a smooth distribution. This method is equally applicable to normalize general tensor networks in which we want to avoid overflows. The core of this method is the use of the Frobenius norm and the partial lineal entrywise norm of reduced forms of the layer in an iterative partial form, so that it has to be finite and within a certain range. These norms are efficient to compute, fully or partially for most cases of interest. In addition, the method benefits from the reuse of intermediate calculations. We apply the method to different layers and check its performance. We create a Python function to run it on an arbitrary layer, available in a Jupyter Notebook in the i3BQuantum repository: https://github.com/i3BQuantumTeam/Q4Real/blob/e07c827651ef16bcf74590ab965ea3985143f891/Quantum-Inspi red%20Variational%20Methods/TN_Normalizer.ipynb
• Abstract（参考訳）: 本稿では,行列のパラメータの爆発を回避する手法として,テンソル化ニューラルネットワークの層の初期化手法を提案する。 提案手法は,ノードの入力や出力に接続するノード数が多いレイヤを対象としており,表現されたレイヤのすべての要素を格納・計算することはできず,スムーズな分布に従うこともできない。 この方法は、オーバーフローを避けたい一般テンソルネットワークの正規化にも等しく適用できる。 この方法の核はフロベニウスノルムと、その層の縮小形式を反復的部分形式として、ある範囲内で有限でなければならない部分線型ノルムを使うことである。 これらのノルムは、興味のあるほとんどの場合、完全にあるいは部分的に計算するのに効率的である。 さらに、この手法は中間計算の再利用の恩恵を受ける。 異なるレイヤにメソッドを適用し、そのパフォーマンスをチェックする。 https://github.com/i3BQuantumTeam/Q4Real/blob/e07c827651ef16bcf74590ab965ea3985143f891/Quantum-Inspi red%20Variational%20Methods/TN_Normalizer.ipynb

関連論文リスト

• Old Optimizer, New Norm: An Anthology [3.471637998699967]
  それぞれの手法は、凸性の仮定を伴わない正方形の一階法として理解することができると論じる。 この観察を一般化することにより、トレーニングアルゴリズムのための新しいデザインスペースをグラフ化する。 ニューラルネットワークを慎重に成熟させるというこのアイデアが、より安定し、スケーラブルで、実際に高速なトレーニングにつながることを期待しています。
  論文  参考訳（メタデータ） (2024-09-30T14:26:12Z)
• Spectral Norm of Convolutional Layers with Circular and Zero Paddings [55.233197272316275]
  畳み込み層をゼロにするためのGramの反復法を一般化し、その二次収束を証明した。 また、円と零のパッドド・コンボリューションのスペクトルノルムのギャップを埋めるための定理も提供する。
  論文  参考訳（メタデータ） (2024-01-31T23:48:48Z)
• A Mini-Block Natural Gradient Method for Deep Neural Networks [12.48022619079224]
  我々は、近似自然勾配法、ミニブロックフィッシャー(MBF)の収束性を提案し、解析する。 提案手法では,一般化の並列性を利用して,各層内の多数の行列を効率的に処理する。
  論文  参考訳（メタデータ） (2022-02-08T20:01:48Z)
• Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
  本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。 まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。 我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
  論文  参考訳（メタデータ） (2021-07-30T20:13:49Z)
• Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks [7.214681039134488]
  斜め多様体に基づく重み付き軟規則化法を提案する。 本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-03-11T10:24:49Z)
• Pooling Methods in Deep Neural Networks, a Review [6.1678491628787455]
  プーリングレイヤは、前のレイヤから来るフィーチャーマップのダウンサンプリングを実行する重要なレイヤである。 本稿では,有名な,有用なプーリング手法について概説する。
  論文  参考訳（メタデータ） (2020-09-16T06:11:40Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)
• Evolving Normalization-Activation Layers [100.82879448303805]
  我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。 EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。 我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
  論文  参考訳（メタデータ） (2020-04-06T19:52:48Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。