Fugu-MT 論文翻訳(概要): On the Generalization of Models Trained with SGD: Information-Theoretic Bounds and Implications

論文の概要: On the Generalization of Models Trained with SGD: Information-Theoretic Bounds and Implications

arxiv url: http://arxiv.org/abs/2110.03128v1
Date: Thu, 7 Oct 2021 00:53:33 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 15:21:24.015196
Title: On the Generalization of Models Trained with SGD: Information-Theoretic Bounds and Implications
Title（参考訳）: SGDを用いた学習モデルの一般化について:情報理論境界と意味
Authors: Ziqiao Wang, Yongyi Mao
Abstract要約: 本稿では,SGDで学習したニューラルネットワークなどの機械学習モデルの一般化誤差に対して,より厳密な情報理論上界を提案する。これらの境界に基づく実験的研究は、ニューラルネットワークのSGDトレーニングに関する洞察を与える。
参考スコア（独自算出の注目度）: 13.823089111538128
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper follows up on a recent work of (Neu, 2021) and presents new and tighter information-theoretic upper bounds for the generalization error of machine learning models, such as neural networks, trained with SGD. We apply these bounds to analyzing the generalization behaviour of linear and two-layer ReLU networks. Experimental study based on these bounds provide some insights on the SGD training of neural networks. They also point to a new and simple regularization scheme which we show performs comparably to the current state of the art.
Abstract（参考訳）: 本稿では、最近の研究(Neu, 2021)に続き、SGDで訓練されたニューラルネットワークなどの機械学習モデルの一般化誤差に対する、より厳密な情報理論上界について述べる。これらの境界を線形および2層reluネットワークの一般化挙動解析に適用する。これらの境界に基づく実験的研究は、ニューラルネットワークのSGDトレーニングに関する洞察を与える。彼らはまた、芸術の現在の状況と相容れないパフォーマンスを示す、新しくシンプルな正規化スキームも指している。

関連論文リスト

A Survey on Statistical Theory of Deep Learning: Approximation, Training Dynamics, and Generative Models [13.283281356356161]
本稿では3つの観点から,ニューラルネットワークの統計理論に関する文献をレビューする。ニューラルネットワークの過剰なリスクに関する調査結果をレビューする。ニューラルネットワークが、目に見えないデータでうまく一般化できるソリューションを見つける方法に答えようとする論文」をレビューする。
論文参考訳（メタデータ） (2024-01-14T02:30:19Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文参考訳（メタデータ） (2023-04-19T16:39:44Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Learning Dynamics and Generalization in Reinforcement Learning [59.530058000689884]
時間差学習は, エージェントが訓練の初期段階において, 値関数の非平滑成分を適合させるのに役立つことを理論的に示す。本研究では,高密度報酬タスクの時間差アルゴリズムを用いて学習したニューラルネットワークが,ランダムなネットワークや政策手法で学習した勾配ネットワークよりも,状態間の一般化が弱いことを示す。
論文参考訳（メタデータ） (2022-06-05T08:49:16Z)
On the Interpretability of Regularisation for Neural Networks Through Model Gradient Similarity [0.0]
モデルグラディエント類似度(MGS)は正規化の指標である。 MGSは、優れたパフォーマンスを示す新しい正規化スキームの基礎を提供する。
論文参考訳（メタデータ） (2022-05-25T10:38:33Z)
Differentiable Reasoning over Long Stories -- Assessing Systematic Generalisation in Neural Models [12.479512369785082]
グラフ構造化データを同時に処理し、エッジ属性を同時に考慮できるグラフベースのモデルである"E-GNN"と、グラフの線形化バージョンを処理できるシーケンスベースのモデルである"L-Graph"である。その結果、修正されたリカレントニューラルネットワークは、グラフニューラルネットワークよりも優れた体系的な一般化タスク全体にわたって驚くほど正確な結果が得られることがわかった。
論文参考訳（メタデータ） (2022-03-20T18:34:42Z)
With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文参考訳（メタデータ） (2022-01-28T05:26:32Z)
On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文参考訳（メタデータ） (2020-07-04T23:43:32Z)
Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
論文参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。