論文の概要: On margin-based generalization prediction in deep neural networks
- arxiv url: http://arxiv.org/abs/2405.17445v1
- Date: Mon, 20 May 2024 13:26:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-02 14:30:04.764160
- Title: On margin-based generalization prediction in deep neural networks
- Title（参考訳）: ディープニューラルネットワークにおけるマージンに基づく一般化予測について
- Authors: Coenraad Mouton,
- Abstract要約: 本研究では,異なる環境下でのマージンに基づく一般化予測手法について検討する。
異なる種類のサンプルノイズが、ネットワーク全体のマージンに非常に異なる影響を与えることが判明した。
基礎となるデータ多様体の近似を組み込んだ新たなマージンベースの測度を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Understanding generalization in deep neural networks is an active area of research. A promising avenue of exploration has been that of margin measurements: the shortest distance to the decision boundary for a given sample or that sample's representation internal to the network. Margin-based complexity measures have been shown to be correlated with the generalization ability of deep neural networks in some circumstances but not others. The reasons behind the success or failure of these metrics are currently unclear. In this study, we examine margin-based generalization prediction methods in different settings. We motivate why these metrics sometimes fail to accurately predict generalization and how they can be improved. First, we analyze the relationship between margins measured in the input space and sample noise. We find that different types of sample noise can have a very different effect on the overall margin of a network that has modeled noisy data. Following this, we empirically evaluate how robust margins measured at different representational spaces are at predicting generalization. We find that these metrics have several limitations and that a large margin does not exhibit a strong correlation with empirical risk in many cases. Finally, we introduce a new margin-based measure that incorporates an approximation of the underlying data manifold. It is empirically demonstrated that this measure is generally more predictive of generalization than all other margin-based measures. Furthermore, we find that this measurement also outperforms other contemporary complexity measures on a well-known generalization prediction benchmark. In addition, we analyze the utility and limitations of this approach and find that this metric is well aligned with intuitions expressed in prior work.
- Abstract（参考訳）: ディープニューラルネットワークにおける一般化を理解することは、研究の活発な領域である。
有望な探索の道はマージンの測定であり、与えられたサンプルの判定境界から最短距離、またはネットワークの内部のサンプルの表現である。
マージンに基づく複雑性測定は、いくつかの状況においてディープニューラルネットワークの一般化能力と相関することが示されているが、それ以外は関係していない。
これらの指標の成功や失敗の背景にある理由は、現時点では不明である。
本研究では,異なる環境下でのマージンに基づく一般化予測手法について検討する。
これらのメトリクスが、時に正確な一般化の予測に失敗し、どのように改善できるかを動機付けています。
まず、入力空間で測定されたマージンとサンプルノイズの関係を解析する。
異なる種類のサンプルノイズが、ノイズデータをモデル化したネットワーク全体のマージンに、非常に異なる効果をもたらすことが判明した。
これに続いて、異なる表現空間で測定されたロバストマージンが、一般化を予測する上でいかに頑健であるかを実証的に評価する。
これらの指標にはいくつかの制限があり、多くの場合、大きなマージンは経験的リスクと強く相関しない。
最後に、基礎となるデータ多様体の近似を組み込んだ新たなマージンベースの測度を導入する。
この測度は、一般に他のすべてのマージンベースの測度よりも一般化の予測的であることが実証的に実証されている。
さらに、この測定は、よく知られた一般化予測ベンチマークにおいて、他の現代の複雑性指標よりも優れていることが判明した。
さらに,本手法の有用性と限界を分析し,この指標が先行作業で表現された直観とよく一致していることを確認した。
関連論文リスト
- Input margins can predict generalization too [1.2430809884830318]
入力マージンは一般の一般化の予測ではなく,探索空間が適切に制約されている場合であることを示す。
我々は、入力マージンに基づくそのような尺度を開発し、それを制約マージンと呼ぶ。
制約されたマージンは競争力が高く、他のマージン測定よりも優れています。
論文 参考訳（メタデータ） (2023-08-29T17:47:42Z) - The Missing Margin: How Sample Corruption Affects Distance to the
Boundary in ANNs [2.65558931169264]
いくつかのトレーニングサンプルは、連続的に小さなマージンでモデル化され、異なる方法での一般化に影響を及ぼすことを示す。
我々は、ノイズ崩壊MNISTデータに基づいてトレーニングされた完全接続ネットワークと、ノイズ崩壊CIFAR10データに基づいてトレーニングされた畳み込みネットワークの分析を支援した。
論文 参考訳（メタデータ） (2023-02-14T09:25:50Z) - Bounding generalization error with input compression: An empirical study
with infinite-width networks [16.17600110257266]
Deep Neural Networks(DNN)のGE(Generalization Error)を推定することは、しばしばホールドアウトデータの可用性に依存する重要なタスクである。
GEに関連する量の探索において,入力層と最終層との相互情報(MI)について検討する。
MIとGEをリンクするために、既存の入力圧縮ベースのGEバウンドが使用される。
論文 参考訳（メタデータ） (2022-07-19T17:05:02Z) - Assaying Out-Of-Distribution Generalization in Transfer Learning [103.57862972967273]
私たちは、経験的に対処するメッセージの相違を強調して、以前の作業の統一的なビューを取ります。
私たちは9つの異なるアーキテクチャから、多数の、あるいは少数の設定で31K以上のネットワークを微調整しました。
論文 参考訳（メタデータ） (2022-07-19T12:52:33Z) - Local Evaluation of Time Series Anomaly Detection Algorithms [9.717823994163277]
本稿では,弱い仮定下でのほとんどすべてのデータセットに対して,逆アルゴリズムが高精度に到達し,リコール可能であることを示す。
本稿では,精度/リコール指標に対する理論的基盤,頑健,パラメータフリー,解釈可能な拡張を提案する。
論文 参考訳（メタデータ） (2022-06-27T10:18:41Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Predicting Deep Neural Network Generalization with Perturbation Response
Curves [58.8755389068888]
トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。
具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。
PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
論文 参考訳（メタデータ） (2021-06-09T01:37:36Z) - Measuring Generalization with Optimal Transport [111.29415509046886]
我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。
我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
論文 参考訳（メタデータ） (2021-06-07T03:04:59Z) - Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。
この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
論文 参考訳（メタデータ） (2021-03-10T11:39:14Z) - In Search of Robust Measures of Generalization [79.75709926309703]
我々は、一般化誤差、最適化誤差、過大なリスクのバウンダリを開発する。
経験的に評価すると、これらの境界の大部分は数値的に空白である。
我々は、分散ロバストネスの枠組みの中で、一般化対策を評価するべきであると論じる。
論文 参考訳（メタデータ） (2020-10-22T17:54:25Z) - Generalized Sliced Distances for Probability Distributions [47.543990188697734]
我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。
GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。
GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
論文 参考訳（メタデータ） (2020-02-28T04:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。