論文の概要: How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2010.05983v3
• Date: Sat, 17 Oct 2020 22:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:07:04.872714
• Title: How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks
• Title（参考訳）: 重み相関がディープニューラルネットワークの一般化能力に与える影響
• Authors: Gaojie Jin, Xinping Yi, Liang Zhang, Lijun Zhang, Sven Schewe, Xiaowei Huang
• Abstract要約: 重み相関は、ニューラルネットワークの一般化のためのPACベイズフレームワークに組み込むことができる。 我々は、PACベイズ測度を重み相関で引き上げる新しい複雑性測度を定式化し、既存の測度よりも正確に一連のネットワークの一般化誤差をランク付けできることを実験的に確認する。
• 参考スコア（独自算出の注目度）: 30.818443196258904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the novel concept of weight correlation in deep neural networks and discusses its impact on the networks' generalisation ability. For fully-connected layers, the weight correlation is defined as the average cosine similarity between weight vectors of neurons, and for convolutional layers, the weight correlation is defined as the cosine similarity between filter matrices. Theoretically, we show that, weight correlation can, and should, be incorporated into the PAC Bayesian framework for the generalisation of neural networks, and the resulting generalisation bound is monotonic with respect to the weight correlation. We formulate a new complexity measure, which lifts the PAC Bayes measure with weight correlation, and experimentally confirm that it is able to rank the generalisation errors of a set of networks more precisely than existing measures. More importantly, we develop a new regulariser for training, and provide extensive experiments that show that the generalisation error can be greatly reduced with our novel approach.
• Abstract（参考訳）: 本稿では,深層ニューラルネットワークにおける重み相関の新たな概念について検討し,その一般化能力への影響について述べる。 完全連結層では、重み相関はニューロンの重みベクトル間の平均コサイン類似度として定義され、畳み込み層では、重み相関はフィルター行列間のコサイン類似度として定義される。 理論的には、重み相関はニューラルネットワークの一般化のためのpac bayesian frameworkに組み込むことができ、結果として得られる一般化境界は重み相関に関して単調であることが示されている。 本稿では,pacベイズ測度を重み相関で持ち上げる新しい複雑性尺度を定式化し,ネットワークの集合の一般化誤差を既存の尺度よりも正確にランク付けできることを実験的に確認する。 より重要なことに、トレーニング用の新しい正規化器を開発し、新しいアプローチで一般化誤差を大幅に低減できることを示す広範な実験を提供する。

関連論文リスト

• Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
  我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。 本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
  論文  参考訳（メタデータ） (2024-09-13T15:55:05Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• The activity-weight duality in feed forward neural networks: The geometric determinants of generalization [7.372592187197655]
  ニューロンの特定の層における活動の変化と、任意のフィードフォワード神経ネットワーク内の密結合層内のニューロンの次の層に接続する重みの変化の間には、正確な双対性がある。 これらの洞察は、過度にパラメータ化されたニューラルネットワークでより一般化可能なソリューションを見つけるアルゴリズムの開発を導くのに使うことができる。
  論文  参考訳（メタデータ） (2022-03-21T05:00:54Z)
• The edge of chaos: quantum field theory and deep neural networks [0.0]
  我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。 我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。 我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
  論文  参考訳（メタデータ） (2021-09-27T18:00:00Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Rethinking Skip Connection with Layer Normalization in Transformers and ResNets [49.87919454950763]
  スキップ接続は、ディープニューラルネットワークの性能を改善するために広く使われているテクニックである。 本研究では,スキップ接続の有効性におけるスケール要因について検討する。
  論文  参考訳（メタデータ） (2021-05-15T11:44:49Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Constraints on Hebbian and STDP learned weights of a spiking neuron [0.0]
  体重正規化を伴うスパイキングニューロンに適用されるヒュービアンおよびstdp学習規則による重みの制約を解析した。 純粋なヘブリアン学習の場合、正規化された重みは補正項までの重みの促進確率に等しいことがわかります。 同様の関係はSTDPアルゴリズムでも得られ、正規化された重み値は重みの促進と移動確率の差を反映している。
  論文  参考訳（メタデータ） (2020-12-14T16:09:12Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。