論文の概要: Analysis of Generalizability of Deep Neural Networks Based on the
Complexity of Decision Boundary
- arxiv url: http://arxiv.org/abs/2009.07974v1
- Date: Wed, 16 Sep 2020 23:25:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 22:44:43.181591
- Title: Analysis of Generalizability of Deep Neural Networks Based on the
Complexity of Decision Boundary
- Title（参考訳）: 決定境界の複雑度に基づくディープニューラルネットワークの一般化可能性の解析
- Authors: Shuyue Guan, Murray Loew
- Abstract要約: 我々は、決定境界複雑性(DBC)スコアを作成し、ディープニューラルネットワーク(DNN)モデルの決定境界の複雑さを定義し、測定する。
DBCスコアは、決定境界の複雑さを測定する効果的な方法を提供し、DNNの一般化可能性の定量的尺度を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For supervised learning models, the analysis of generalization ability
(generalizability) is vital because the generalizability expresses how well a
model will perform on unseen data. Traditional generalization methods, such as
the VC dimension, do not apply to deep neural network (DNN) models. Thus, new
theories to explain the generalizability of DNNs are required. In this study,
we hypothesize that the DNN with a simpler decision boundary has better
generalizability by the law of parsimony (Occam's Razor). We create the
decision boundary complexity (DBC) score to define and measure the complexity
of decision boundary of DNNs. The idea of the DBC score is to generate data
points (called adversarial examples) on or near the decision boundary. Our new
approach then measures the complexity of the boundary using the entropy of
eigenvalues of these data. The method works equally well for high-dimensional
data. We use training data and the trained model to compute the DBC score. And,
the ground truth for model's generalizability is its test accuracy. Experiments
based on the DBC score have verified our hypothesis. The DBC is shown to
provide an effective method to measure the complexity of a decision boundary
and gives a quantitative measure of the generalizability of DNNs.
- Abstract（参考訳）: 教師あり学習モデルでは,一般化能力(一般化可能性)の分析が不可欠である。
VC次元のような従来の一般化法はディープニューラルネットワーク(DNN)モデルには適用されない。
したがって、DNNの一般化可能性を説明する新しい理論が必要である。
本研究では,より単純な決定境界を持つDNNがパシモニー法則(Occam's Razor)によりより一般化可能であることを仮定する。
決定境界複雑性(DBC)スコアを作成し、DNNの意思決定境界の複雑さを定義し測定する。
DBCスコアの考え方は、決定境界の前後でデータポイント(逆例と呼ばれる)を生成することである。
我々の新しいアプローチは、これらのデータの固有値のエントロピーを用いて境界の複雑さを測定する。
この方法は高次元データに対しても等しく機能する。
dbcスコアの計算にはトレーニングデータとトレーニングモデルを使用します。
そして、モデルの一般化可能性の基本的な真実は、そのテスト精度である。
dbcスコアに基づく実験が本仮説を検証した。
DBCは決定境界の複雑さを測定する効果的な方法を提供し、DNNの一般化可能性の定量的尺度を提供する。
関連論文リスト
- Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。
本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。
本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
論文 参考訳（メタデータ） (2024-08-25T16:00:44Z) - On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。
本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。
現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
論文 参考訳（メタデータ） (2024-02-20T16:01:39Z) - Modular Learning of Deep Causal Generative Models for High-dimensional Causal Inference [5.522612010562183]
Modular-DCMは、因果構造を考えると、敵のトレーニングを用いてネットワーク重みを学習する最初のアルゴリズムである。
本稿では,CelebA-HQ における因果不変予測問題を用いて,このアルゴリズムの COVIDx データセットとそのユーティリティへの収束性を示す。
論文 参考訳（メタデータ） (2024-01-02T20:31:15Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳（メタデータ） (2022-11-17T15:48:06Z) - Understanding Deep Learning via Decision Boundary [81.49114762506287]
決定境界(DB)の変動が低いニューラルネットワークはより一般化可能であることを示す。
アルゴリズムDBの変数と$(epsilon, eta)$-data DBの変数という2つの新しい概念が、決定境界の変数を測定するために提案されている。
論文 参考訳（メタデータ） (2022-06-03T11:34:12Z) - Confidence Dimension for Deep Learning based on Hoeffding Inequality and
Relative Evaluation [44.393256948610016]
我々は,新しい信頼度次元(CD)の概念に基づいて,ディープニューラルネットワーク(DNN)の相対的一般化を測定し,ランク付けするために,複数の因子を用いることを提案する。
我々のCDは、全タスクにおいて完全精度のDNNとバイナリニューラルネットワーク(BNN)の両方に対して、一貫した信頼性のある測定値とランキングを得る。
論文 参考訳（メタデータ） (2022-03-17T04:43:43Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - How to Explain Neural Networks: A perspective of data space division [2.4499092754102874]
ディープラーニングで表されるアルゴリズムの解釈可能性はまだオープンな問題です。
本稿では,説明の2つの属性に基づく既存の説明可能な手法の欠点について論じる。
本稿では,データ空間分割の観点から,完全局所解釈可能なモデル非依存説明法(CLIMEP)の原理を提案する。
論文 参考訳（メタデータ） (2021-05-17T13:43:37Z) - Belief Propagation Neural Networks [103.97004780313105]
信念伝播ニューラルネットワーク(BPNN)を紹介する。
BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する
BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。
挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
論文 参考訳（メタデータ） (2020-07-01T07:39:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。