Fugu-MT 論文翻訳(概要): Correlation between entropy and generalizability in a neural network

論文の概要: Correlation between entropy and generalizability in a neural network

arxiv url: http://arxiv.org/abs/2207.01996v1
Date: Tue, 5 Jul 2022 12:28:13 GMT
ステータス: 処理完了
システム内更新日: 2022-07-06 21:23:59.580696
Title: Correlation between entropy and generalizability in a neural network
Title（参考訳）: ニューラルネットワークにおけるエントロピーと一般化可能性の相関
Authors: Ge Zhang
Abstract要約: We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。この結果から,エントロピック力は一般化に有効であることが示唆された。
参考スコア（独自算出の注目度）: 9.223853439465582
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although neural networks can solve very complex machine-learning problems, the theoretical reason for their generalizability is still not fully understood. Here we use Wang-Landau Mote Carlo algorithm to calculate the entropy (logarithm of the volume of a part of the parameter space) at a given test accuracy, and a given training loss function value or training accuracy. Our results show that entropical forces help generalizability. Although our study is on a very simple application of neural networks (a spiral dataset and a small, fully-connected neural network), our approach should be useful in explaining the generalizability of more complicated neural networks in future works.
Abstract（参考訳）: ニューラルネットワークは非常に複雑な機械学習問題を解くことができるが、その一般化性の理論的理由はまだ完全には理解されていない。ここでは、Wang-Landau Mote Carloアルゴリズムを用いて、与えられたテスト精度でエントロピー(パラメータ空間の一部の体積の対数)を計算し、与えられたトレーニング損失関数値またはトレーニング精度を算出する。私たちの結果は、エントロピー的な力は一般化可能性に役立つことを示している。本研究は、ニューラルネットワーク(スパイラルデータセットと小さな完全接続ニューラルネットワーク)の非常に単純な応用に関するものであるが、より複雑なニューラルネットワークの汎用性を説明する上で有用である。

関連論文リスト

SGD method for entropy error function with smoothing l0 regularization for neural networks [3.108634881604788]
エントロピー誤差関数はニューラルネットワークで広く使われている。本稿では,フィードフォワードニューラルネットワークの規則化を円滑に行うエントロピー関数を提案する。ニューラルネットワークを効果的に学習し、より正確な予測を可能にするため、私たちの仕事は新しくなっています。
論文参考訳（メタデータ） (2024-05-28T19:54:26Z)
Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文参考訳（メタデータ） (2024-05-07T12:20:12Z)
Points of non-linearity of functions generated by random neural networks [0.0]
1つの隠れ活性化層、任意の幅、ReLU活性化関数を持つニューラルネットワークによって出力される実数から実数への関数を考える。非線型性の点の期待分布を計算する。
論文参考訳（メタデータ） (2023-04-19T17:40:19Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus [0.0]
Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
論文参考訳（メタデータ） (2022-09-27T08:14:00Z)
Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文参考訳（メタデータ） (2022-02-24T14:22:32Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
論文参考訳（メタデータ） (2021-09-22T18:02:00Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。