Fugu-MT 論文翻訳(概要): On The Connection of Benford's Law and Neural Networks

論文の概要: On The Connection of Benford's Law and Neural Networks

arxiv url: http://arxiv.org/abs/2102.03313v1
Date: Fri, 5 Feb 2021 17:39:36 GMT
ステータス: 処理完了
システム内更新日: 2021-02-08 22:07:41.587495
Title: On The Connection of Benford's Law and Neural Networks
Title（参考訳）: ベンフォードの法則とニューラルネットワークの関連について
Authors: Surya Kant Sahu, Abhinav Java, Arshad Shaikh
Abstract要約: ベンフォードの法則(ベンフォードの法則、英: Significant Digit Law)は、自然に発生する多くのデータ集合で観察される。本稿では,ニューラルネットワークの重みがベンフォードの法則にどの程度近いかを示すスコアである$MLH$を定義する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Benford's law, also called Significant Digit Law, is observed in many naturally occurring data-sets. For instance, the physical constants such as Gravitational, Coulomb's Constant, etc., follow this law. In this paper, we define a score, $MLH$, for how closely a Neural Network's Weights match Benford's law. We show that Neural Network Weights follow Benford's Law regardless of the initialization method. We make a striking connection between Generalization and the $MLH$ of the network. We provide evidence that several architectures from AlexNet to ResNeXt trained on ImageNet, Transformers (BERT, Electra, etc.), and other pre-trained models on a wide variety of tasks have a strong correlation between their test performance and the $MLH$. We also investigate the influence of Data in the Weights to explain why NNs possibly follow Benford's Law. With repeated experiments on multiple datasets using MLPs, CNNs, and LSTMs, we provide empirical evidence that there is a connection between $MLH$ while training, overfitting. Understanding this connection between Benford's Law and Neural Networks promises a better comprehension of the latter.
Abstract（参考訳）: ベンフォードの法則は重要桁法とも呼ばれ、多くの自然発生データセットで観察される。例えば、重力、クーロンの定数などの物理定数は、この法則に従います。本稿では、ニューラルネットワークの重みがベンフォードの法則にどの程度近いかを示すスコアである$mlh$を定義する。ニューラルネットワークの重み付けは初期化法にかかわらずベンフォードの法則に従うことを示す。一般化とネットワークの$MLH$との間には、大きなつながりがあります。我々は、ImageNet、Transformer(BERT、Electraなど)でトレーニングされたAlexNetからResNeXtに至るまで、いくつかのアーキテクチャが証明されている。さまざまなタスクに関する他のトレーニング済みモデルは、テストパフォーマンスと$MLH$との間に強い相関関係を持っています。また、重みにおけるデータの影響を調査し、なぜNNがベンフォードの法則に従うのかを説明する。 MLP, CNN, LSTMを用いて複数のデータセットに対して繰り返し実験を行った結果, トレーニング中にMLH$が過度に適合していることを示す実証的証拠が得られた。 Benfordの法則とニューラルネットワークのこの関係を理解することは、後者をよりよく理解することを約束する。

関連論文リスト

Theoretical Analysis of Inductive Biases in Deep Convolutional Networks [10.115913222860186]
まず、CNNの普遍性、すなわち連続関数を近似する能力を解析する。次に、重量共有と局所性の帰納バイアスを対称性のレンズを通して研究する。 LCNが$Omega(d)$サンプルを必要とするのに対して、CNNは$tildemathcalO(log2d)$サンプルしか必要としない。
論文参考訳（メタデータ） (2023-05-15T07:40:07Z)
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文参考訳（メタデータ） (2022-08-08T19:11:03Z)
The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network [69.54809052377189]
近年, 深部畳み込みニューラルネットワーク(CNN)の内部情報を活用することにより, モデル一般化の促進を図るために, SAM (Plug-and-play Self-attention Module) が多数提案されている。 a) SAMをすべてのブロックに接続することは、必ずしも最大のパフォーマンス向上をもたらすとは限らないし、部分ブロックに接続する方が、さらによい。 (b) CNNにSAMを追加することは、必ずしもパフォーマンス向上をもたらすものではなく、代わりに元のCNNバックボーンのパフォーマンスに害を与えるかもしれない。
論文参考訳（メタデータ） (2022-07-16T07:08:59Z)
Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
論文参考訳（メタデータ） (2021-11-16T16:14:44Z)
EE-Net: Exploitation-Exploration Neural Networks in Contextual Bandits [52.98326168071513]
EE-Netは、新しい探索戦略を持つニューラルネットワークベースのバンドイットアプローチである。 EE-Net が $mathcalO(sqrtTlog T)$ regret を達成することを示す。
論文参考訳（メタデータ） (2021-10-07T04:12:36Z)
MutualNet: Adaptive ConvNet via Mutual Learning from Different Model Configurations [51.85020143716815]
MutualNetは、リソース制約の多様なセットで実行できる単一のネットワークを訓練するために提案します。提案手法は,様々なネットワーク幅と入力解像度を持つモデル構成のコホートを訓練する。 MutualNetは、さまざまなネットワーク構造に適用できる一般的なトレーニング方法論です。
論文参考訳（メタデータ） (2021-05-14T22:30:13Z)
A Law of Robustness for Weight-bounded Neural Networks [37.54604146791085]
最近(bubeck et al., 2020)は、k$ニューロンを持つ2層ネットワークを使ってジェネリックデータセットに適合する場合、最小のリプシッツ定数は$omega(sqrtfracnk)$であると予想した。本研究では,任意のモデルクラスに対して,有界ラデマチャー複雑性を持つLipschitz定数の下限を導出する。この結果は(bubeck et al., 2020)2層ネットワークにおける有界重みを仮定した予想と一致する。
論文参考訳（メタデータ） (2021-02-16T11:28:59Z)
Multi-Constitutive Neural Network for Large Deformation Poromechanics Problem [11.942483870720888]
本稿では,複数の異なる法則を1つのモデルで解ける「マルチ構成型ニューラルネットワーク(MCNN)」を提案する。 MCNNは複数のPDEの解法を訓練し、PDEで訓練した個々のニューラルネットワークの解法よりも優れていた。
論文参考訳（メタデータ） (2020-10-11T07:36:16Z)
Entanglement and Tensor Networks for Supervised Image Classification [0.0]
我々は手書き文字の桁のMNISTデータセットを用いてテンソルネットワークを用いて教師付き画像分類を行う。我々は、その絡み合い特性を検証し、可算候補状態 $|Sigma_ellrangle$ を提案する。我々は、$|Sigma_ellrangle$ が非常に強く絡み合っているので、その作業で使用されるテンソルネットワークでは近似できないと結論づける。
論文参考訳（メタデータ） (2020-07-12T20:09:26Z)
A Neural Scaling Law from the Dimension of the Data Manifold [8.656787568717252]
データが豊富であれば、よく訓練されたニューラルネットワークによって達成される損失は、ネットワークパラメータの数でN-alpha$のパワーロープロットとしてスケールする。スケーリングの法則は、ニューラルモデルが本質的に内在次元$d$のデータ多様体上で回帰を行えば説明できる。この単純な理論は、スケーリング指数が、クロスエントロピーと平均二乗誤差損失に対して$alpha approx 4/d$となることを予測している。
論文参考訳（メタデータ） (2020-04-22T19:16:06Z)
$\Pi-$nets: Deep Polynomial Neural Networks [86.36557534288535]
$Pi$-Netsは、出力が入力の高次であるニューラルネットワークである。我々は、$Pi$-Netsが標準のDCNNよりも優れた表現能力を持っていることを実証的に実証した。近年のStyleGANのような生成モデルが,先行モデルに改良を加えた理由を解明する。
論文参考訳（メタデータ） (2020-03-08T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。