論文の概要: On The Connection of Benford's Law and Neural Networks

• arxiv url: http://arxiv.org/abs/2102.03313v1
• Date: Fri, 5 Feb 2021 17:39:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-08 22:07:41.587495
• Title: On The Connection of Benford's Law and Neural Networks
• Title（参考訳）: ベンフォードの法則とニューラルネットワークの関連について
• Authors: Surya Kant Sahu, Abhinav Java, Arshad Shaikh
• Abstract要約: ベンフォードの法則(ベンフォードの法則、英: Significant Digit Law)は、自然に発生する多くのデータ集合で観察される。 本稿では,ニューラルネットワークの重みがベンフォードの法則にどの程度近いかを示すスコアである$MLH$を定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Benford's law, also called Significant Digit Law, is observed in many naturally occurring data-sets. For instance, the physical constants such as Gravitational, Coulomb's Constant, etc., follow this law. In this paper, we define a score, $MLH$, for how closely a Neural Network's Weights match Benford's law. We show that Neural Network Weights follow Benford's Law regardless of the initialization method. We make a striking connection between Generalization and the $MLH$ of the network. We provide evidence that several architectures from AlexNet to ResNeXt trained on ImageNet, Transformers (BERT, Electra, etc.), and other pre-trained models on a wide variety of tasks have a strong correlation between their test performance and the $MLH$. We also investigate the influence of Data in the Weights to explain why NNs possibly follow Benford's Law. With repeated experiments on multiple datasets using MLPs, CNNs, and LSTMs, we provide empirical evidence that there is a connection between $MLH$ while training, overfitting. Understanding this connection between Benford's Law and Neural Networks promises a better comprehension of the latter.
• Abstract（参考訳）: ベンフォードの法則は重要桁法とも呼ばれ、多くの自然発生データセットで観察される。 例えば、重力、クーロンの定数などの物理定数は、この法則に従います。 本稿では、ニューラルネットワークの重みがベンフォードの法則にどの程度近いかを示すスコアである$mlh$を定義する。 ニューラルネットワークの重み付けは初期化法にかかわらずベンフォードの法則に従うことを示す。 一般化とネットワークの$MLH$との間には、大きなつながりがあります。 我々は、ImageNet、Transformer(BERT、Electraなど)でトレーニングされたAlexNetからResNeXtに至るまで、いくつかのアーキテクチャが証明されている。 さまざまなタスクに関する他のトレーニング済みモデルは、テストパフォーマンスと$MLH$との間に強い相関関係を持っています。 また、重みにおけるデータの影響を調査し、なぜNNがベンフォードの法則に従うのかを説明する。 MLP, CNN, LSTMを用いて複数のデータセットに対して繰り返し実験を行った結果, トレーニング中にMLH$が過度に適合していることを示す実証的証拠が得られた。 Benfordの法則とニューラルネットワークのこの関係を理解することは、後者をよりよく理解することを約束する。

関連論文リスト

• Memorization Capacity for Additive Fine-Tuning with Small ReLU Networks [16.320374162259117]
  Fine-Tuning Capacity (FTC)は、ニューラルネットワークが微調整できるサンプルの最大数として定義される。 2層ネットワークの$m=Theta(N)$ニューロンと3層ネットワークの$m=Theta(sqrtN)$ニューロンで、$K$がいくら大きいとしても、$N$サンプルを微調整できることが示される。
  論文  参考訳（メタデータ） (2024-08-01T07:58:51Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Bayesian Neural Networks: A Min-Max Game Framework [1.8032347672439046]
  我々は、決定論的ニューラルネットワーク$f$とサンプリングネットワーク$f + xi$または$f + r*xi$の間のゲーム理論を介してBNNを定式化する。 以前の BNN と比較すると、BNN は中心 $f$ とサンプリング点 $f + r*xi$ の間のあるギャップ内で解空間を学習する。 f$ と $f + r*xi$ の間の最小点が安定になるのは、その部分空間次元が十分に大きく、十分に訓練されたモデル $f$ が成り立つときである。
  論文  参考訳（メタデータ） (2023-11-18T17:17:15Z)
• Theoretical Analysis of Inductive Biases in Deep Convolutional Networks [16.41952363194339]
  畳み込みニューラルネットワーク(CNN)における誘導バイアスの理論解析 CNN, ローカル接続ネットワーク(LCN) および完全接続ネットワーク(FCN) の性能を, 簡単な回帰処理で比較する。 LCNが$Omega(d)$サンプルを必要とするのに対して、CNNは$widetildemathcalO(log2d)$サンプルしか必要とせず、重量共有の重要な役割を強調している。
  論文  参考訳（メタデータ） (2023-05-15T07:40:07Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
  近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
  論文  参考訳（メタデータ） (2022-07-16T07:08:59Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• A Law of Robustness for Weight-bounded Neural Networks [37.54604146791085]
  最近(bubeck et al., 2020)は、k$ニューロンを持つ2層ネットワークを使ってジェネリックデータセットに適合する場合、最小のリプシッツ定数は$omega(sqrtfracnk)$であると予想した。 本研究では,任意のモデルクラスに対して,有界ラデマチャー複雑性を持つLipschitz定数の下限を導出する。 この結果は(bubeck et al., 2020)2層ネットワークにおける有界重みを仮定した予想と一致する。
  論文  参考訳（メタデータ） (2021-02-16T11:28:59Z)
• Multi-Constitutive Neural Network for Large Deformation Poromechanics Problem [21.894584868482916]
  本稿では,複数の異なる法則を1つのモデルで解ける「マルチ構成型ニューラルネットワーク(MCNN)」を提案する。 MCNNは複数のPDEの解法を訓練し、PDEで訓練した個々のニューラルネットワークの解法よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-11T07:36:16Z)
• $\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
  $Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。 我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。 近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
  論文  参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。