Fugu-MT 論文翻訳(概要): The distance between the weights of the neural network is meaningful

論文の概要: The distance between the weights of the neural network is meaningful

arxiv url: http://arxiv.org/abs/2102.00396v1
Date: Sun, 31 Jan 2021 06:44:49 GMT
ステータス: 処理完了
システム内更新日: 2021-02-03 04:22:55.217285
Title: The distance between the weights of the neural network is meaningful
Title（参考訳）: ニューラルネットワークの重みの間の距離は意味があります
Authors: Liqun Yang, Yijun Yang, Yao Wang, Zhenyu Yang, Wei Zeng
Abstract要約: ニューラルネットワークの適用においては、問題複雑性とデータセットスケールに基づいて適切なモデルを選択する必要がある。本稿では,異なるトレーニング段階におけるニューラルネットワーク重み間の距離を用いて,トレーニング過程において,ネットワークが蓄積した情報を直接推定できることを示す。
参考スコア（独自算出の注目度）: 9.329400348695435
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the application of neural networks, we need to select a suitable model based on the problem complexity and the dataset scale. To analyze the network's capacity, quantifying the information learned by the network is necessary. This paper proves that the distance between the neural network weights in different training stages can be used to estimate the information accumulated by the network in the training process directly. The experiment results verify the utility of this method. An application of this method related to the label corruption is shown at the end.
Abstract（参考訳）: ニューラルネットワークの適用においては、問題複雑性とデータセットスケールに基づいて適切なモデルを選択する必要がある。ネットワークの容量を分析するには,ネットワークで学習した情報を定量化する必要がある。本稿では,異なるトレーニング段階におけるニューラルネットワーク重み間の距離を用いて,トレーニング過程において,ネットワークが蓄積した情報を直接推定できることを示す。実験結果は、この方法の有用性を検証します。ラベルの破損に関連するこの方法の適用は、最後に示されています。

関連論文リスト

Residual Random Neural Networks [0.0]
ランダムな重みを持つ単層フィードフォワードニューラルネットワークは、ニューラルネットワークの文献の中で繰り返されるモチーフである。隠れたニューロンの数がデータサンプルの次元と等しくない場合でも,優れた分類結果が得られることを示す。
論文参考訳（メタデータ） (2024-10-25T22:00:11Z)
Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。 MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文参考訳（メタデータ） (2024-06-13T18:00:05Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Adaptive Neural Networks Using Residual Fitting [2.546014024559691]
本稿では,ネットワークの残差における説明可能なエラーを探索し,十分なエラーが検出された場合,ネットワークを拡大するネットワーク成長手法を提案する。これらのタスクの中で、成長するネットワークは、成長しない小さなネットワークよりも優れたパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2023-01-13T19:52:30Z)
Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文参考訳（メタデータ） (2022-02-10T09:30:31Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
論文参考訳（メタデータ） (2021-09-03T11:45:51Z)
SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文参考訳（メタデータ） (2021-06-10T04:21:20Z)
MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
論文参考訳（メタデータ） (2021-04-21T14:24:26Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
論文参考訳（メタデータ） (2020-04-05T20:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。