論文の概要: Canonical convolutional neural networks

• arxiv url: http://arxiv.org/abs/2206.01509v1
• Date: Fri, 3 Jun 2022 11:19:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 14:39:22.427793
• Title: Canonical convolutional neural networks
• Title（参考訳）: 正準畳み込みニューラルネットワーク
• Authors: Lokesh Veeramacheneni and Moritz Wolter and Reinhard Klein and Jochen Garcke
• Abstract要約: 畳み込みニューラルネットワークの標準重み正規化を提案する。 標準テンソル分解にインスパイアされ、外ベクトル積のスケールした和として重みテンソルを表現する。
• 参考スコア（独自算出の注目度）: 5.803855889358524
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce canonical weight normalization for convolutional neural networks. Inspired by the canonical tensor decomposition, we express the weight tensors in so-called canonical networks as scaled sums of outer vector products. In particular, we train network weights in the decomposed form, where scale weights are optimized separately for each mode. Additionally, similarly to weight normalization, we include a global scaling parameter. We study the initialization of the canonical form by running the power method and by drawing randomly from Gaussian or uniform distributions. Our results indicate that we can replace the power method with cheaper initializations drawn from standard distributions. The canonical re-parametrization leads to competitive normalization performance on the MNIST, CIFAR10, and SVHN data sets. Moreover, the formulation simplifies network compression. Once training has converged, the canonical form allows convenient model-compression by truncating the parameter sums.
• Abstract（参考訳）: 畳み込みニューラルネットワークの標準重み正規化を提案する。 正準テンソル分解に触発されて、いわゆる正準ネットワークの重みテンソルを外部ベクトル積のスケール和として表現する。 特に,ネットワーク重みを分割した形でトレーニングし,各モードごとにスケール重みを別々に最適化する。 さらに、重み正規化と同様に、グローバルなスケーリングパラメータを含む。 パワー法を実行し,ガウス分布や一様分布からランダムに描画することにより,正準形式の初期化について検討する。 以上の結果から,標準分布から導かれるより安価な初期化法をパワー法に置き換えることができた。 標準的再パラメータ化は、MNIST、CIFAR10、SVHNデータセット上での競合正規化性能をもたらす。 さらに、この定式化はネットワーク圧縮を単純化する。 トレーニングが収束すると、標準形式はパラメータ和を切断することで便利なモデル圧縮を可能にする。

関連論文リスト

• Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
  我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。 本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T15:55:05Z)
• Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
  本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。 その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T06:40:34Z)
• Quantization Aware Factorization for Deep Neural Network Compression [20.04951101799232]
  畳み込み層と完全連結層の分解は、ニューラルネットワークにおけるパラメータとFLOPを減らす効果的な方法である。 従来のトレーニング後量子化手法は重み付きネットワークに適用され、精度が低下する。 これは、分解された近似を量子化因子で直接発見するアルゴリズムを開発する動機となった。
  論文  参考訳（メタデータ） (2023-08-08T21:38:02Z)
• Quantized Sparse Weight Decomposition for Neural Network Compression [12.24566619983231]
  このアプローチは,重み付きSVD,ベクトル量子化,スパースPCAの統一であると考えられる。 本手法は,ベクトル量子化法や極端圧縮法とは異なり,中等度圧縮法にも適用可能である。
  論文  参考訳（メタデータ） (2022-07-22T12:40:03Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
  閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。 出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。 これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
  論文  参考訳（メタデータ） (2021-10-03T07:29:57Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• T-Basis: a Compact Representation for Neural Networks [89.86997385827055]
  テンソルの集合をコンパクトに表現するための概念である T-Basis をニューラルネットワークでよく見られる任意の形状で導入する。 ニューラルネットワーク圧縮の課題に対する提案手法の評価を行い, 許容性能低下時に高い圧縮速度に達することを示す。
  論文  参考訳（メタデータ） (2020-07-13T19:03:22Z)
• Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data [52.78581260260455]
  任意の特定のリー群からの変換に同値な畳み込み層を構築するための一般的な方法を提案する。 同じモデルアーキテクチャを画像、ボール・アンド・スティック分子データ、ハミルトン力学系に適用する。
  論文  参考訳（メタデータ） (2020-02-25T17:40:38Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。