論文の概要: Beyond the storage capacity: data driven satisfiability transition

• arxiv url: http://arxiv.org/abs/2005.09992v1
• Date: Wed, 20 May 2020 12:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 06:20:49.861921
• Title: Beyond the storage capacity: data driven satisfiability transition
• Title（参考訳）: ストレージ容量を超える:データ駆動充足可能性移行
• Authors: Pietro Rotondo, Mauro Pastore, Marco Gherardi
• Abstract要約: 我々は,カーネルマシンのVapnik-Chervonenkisエントロピーを,同じラベル付きサブセットにグループ化されたデータに基づいて計算する。 これらの結果から, 記憶容量によって提供される凝縮された記述を超える表現力の側面が明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data structure has a dramatic impact on the properties of neural networks, yet its significance in the established theoretical frameworks is poorly understood. Here we compute the Vapnik-Chervonenkis entropy of a kernel machine operating on data grouped into equally labelled subsets. At variance with the unstructured scenario, entropy is non-monotonic in the size of the training set, and displays an additional critical point besides the storage capacity. Remarkably, the same behavior occurs in margin classifiers even with randomly labelled data, as is elucidated by identifying the synaptic volume encoding the transition. These findings reveal aspects of expressivity lying beyond the condensed description provided by the storage capacity, and they indicate the path towards more realistic bounds for the generalization error of neural networks.
• Abstract（参考訳）: データ構造はニューラルネットワークの性質に劇的な影響を与えるが、確立された理論的枠組みにおけるその重要性はよく分かっていない。 ここでは、等ラベル付きサブセットにグループ化されたデータを操作するカーネルマシンのVapnik-Chervonenkisエントロピーを計算する。 アントロピーは、非構造化シナリオとばらつきがある場合、トレーニングセットのサイズで非単調であり、記憶容量以外に追加の臨界点を表示する。 驚くべきことに、同じ挙動はランダムにラベル付けされたデータであってもマージン分類器で発生し、遷移をコードするシナプスボリュームを同定することによって解明される。 これらの結果から, 記憶容量の凝縮した記述を超える表現性の側面が明らかとなり, ニューラルネットワークの一般化誤差に対するより現実的な境界への道のりが示唆された。

関連論文リスト

• Heterogeneous quantization regularizes spiking neural network activity [0.0]
  本稿では、アナログデータを正規化し、スパイク位相表現に量子化する、データブラインドニューロモルフィック信号条件付け戦略を提案する。 我々は、量子化重みの範囲と密度が蓄積された入力統計に適応するデータ認識キャリブレーションステップを追加することで、このメカニズムを拡張した。
  論文  参考訳（メタデータ） (2024-09-27T02:25:44Z)
• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
  このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。 記号の配置に非依存であり、それによって表現される意味論にのみ依存する。 識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
  論文  参考訳（メタデータ） (2024-05-12T22:18:25Z)
• A topological classifier to characterize brain states: When shape matters more than variance [0.0]
  トポロジカルデータ分析(TDA)は、永続化記述子を用いてデータ雲の形状を研究することを目的としている。 本稿では,データサブセットへの新たな入力の追加によるトポロジカルメトリクスの定量化変化の原理に基づいた,TDAに基づく新しい分類手法を提案する。
  論文  参考訳（メタデータ） (2023-03-07T20:45:15Z)
• Isometric Representations in Neural Networks Improve Robustness [0.0]
  我々は、クラス内メートル法構造を同時に維持しながら分類を行うためにニューラルネットワークを訓練する。 我々は、等尺正則化がMNISTに対する敵攻撃に対する堅牢性を改善することを検証する。
  論文  参考訳（メタデータ） (2022-11-02T16:18:18Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Towards quantifying information flows: relative entropy in deep neural networks and the renormalization group [0.0]
  相対エントロピーやクルバック・リーバーの分岐を明示的に計算することで,情報の流れを定量化する。 ニューラルネットワークの場合、その振る舞いは機械学習における様々な情報手法に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T18:00:01Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Emergence of a finite-size-scaling function in the supervised learning of the Ising phase transition [0.7658140759553149]
  強磁性イジングモデルにおける二相分類の教師付き学習と二階相転移の標準有限サイズスケーリング理論との関係について検討する。 1つの自由パラメータだけで、ネットワーク出力における普遍的な有限サイズスケーリング関数の出現を記述するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-10-01T12:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。