論文の概要: Beyond the storage capacity: data driven satisfiability transition
- arxiv url: http://arxiv.org/abs/2005.09992v1
- Date: Wed, 20 May 2020 12:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 06:20:49.861921
- Title: Beyond the storage capacity: data driven satisfiability transition
- Title(参考訳): ストレージ容量を超える:データ駆動充足可能性移行
- Authors: Pietro Rotondo, Mauro Pastore, Marco Gherardi
- Abstract要約: 我々は,カーネルマシンのVapnik-Chervonenkisエントロピーを,同じラベル付きサブセットにグループ化されたデータに基づいて計算する。
これらの結果から, 記憶容量によって提供される凝縮された記述を超える表現力の側面が明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data structure has a dramatic impact on the properties of neural networks,
yet its significance in the established theoretical frameworks is poorly
understood. Here we compute the Vapnik-Chervonenkis entropy of a kernel machine
operating on data grouped into equally labelled subsets. At variance with the
unstructured scenario, entropy is non-monotonic in the size of the training
set, and displays an additional critical point besides the storage capacity.
Remarkably, the same behavior occurs in margin classifiers even with randomly
labelled data, as is elucidated by identifying the synaptic volume encoding the
transition. These findings reveal aspects of expressivity lying beyond the
condensed description provided by the storage capacity, and they indicate the
path towards more realistic bounds for the generalization error of neural
networks.
- Abstract(参考訳): データ構造はニューラルネットワークの性質に劇的な影響を与えるが、確立された理論的枠組みにおけるその重要性はよく分かっていない。
ここでは、等ラベル付きサブセットにグループ化されたデータを操作するカーネルマシンのVapnik-Chervonenkisエントロピーを計算する。
アントロピーは、非構造化シナリオとばらつきがある場合、トレーニングセットのサイズで非単調であり、記憶容量以外に追加の臨界点を表示する。
驚くべきことに、同じ挙動はランダムにラベル付けされたデータであってもマージン分類器で発生し、遷移をコードするシナプスボリュームを同定することによって解明される。
これらの結果から, 記憶容量の凝縮した記述を超える表現性の側面が明らかとなり, ニューラルネットワークの一般化誤差に対するより現実的な境界への道のりが示唆された。
関連論文リスト
- Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳(メタデータ) (2023-12-04T01:32:42Z) - Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural
Networks [4.213427823201119]
本研究は,ディープグラフニューラルネットワークにおけるオーバー・スムーシングとオーバー・相関性に関する新たな理論的知見を明らかにする。
不変部分空間の有意性を示し、特徴変換の影響を受けない固定相対的挙動を示す。
我々は、経験的に洞察を非線形の場合にまで拡張し、既存のモデルが線形独立な特徴をキャプチャできないことを示す。
論文 参考訳(メタデータ) (2023-08-31T15:22:31Z) - A topological classifier to characterize brain states: When shape
matters more than variance [0.0]
トポロジカルデータ分析(TDA)は、永続化記述子を用いてデータ雲の形状を研究することを目的としている。
本稿では,データサブセットへの新たな入力の追加によるトポロジカルメトリクスの定量化変化の原理に基づいた,TDAに基づく新しい分類手法を提案する。
論文 参考訳(メタデータ) (2023-03-07T20:45:15Z) - Isometric Representations in Neural Networks Improve Robustness [0.0]
我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。
我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
論文 参考訳(メタデータ) (2022-11-02T16:18:18Z) - Privacy-preserving machine learning with tensor networks [50.591267188664666]
テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
論文 参考訳(メタデータ) (2022-02-24T19:04:35Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Towards quantifying information flows: relative entropy in deep neural
networks and the renormalization group [0.0]
相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。
ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2021-07-14T18:00:01Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Emergence of a finite-size-scaling function in the supervised learning
of the Ising phase transition [0.7658140759553149]
強磁性イジングモデルにおける二相分類の教師付き学習と二階相転移の標準有限サイズスケーリング理論との関係について検討する。
1つの自由パラメータだけで、ネットワーク出力における普遍的な有限サイズスケーリング関数の出現を記述するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-10-01T12:34:12Z) - Hierarchical nucleation in deep neural networks [67.85373725288136]
我々は,いくつかの最先端DCNにおいて,隠れた層にまたがるImageNetデータセットの確率密度の進化について検討した。
初期層は, 分類に無関係な構造を排除し, 一様確率密度を生成する。
その後の層では、密度ピークは階層的な方法で発生し、概念のセマンティック階層を反映する。
論文 参考訳(メタデータ) (2020-07-07T14:42:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。