論文の概要: The emergence of a concept in shallow neural networks
- arxiv url: http://arxiv.org/abs/2109.00454v1
- Date: Wed, 1 Sep 2021 15:56:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-02 14:09:41.427243
- Title: The emergence of a concept in shallow neural networks
- Title（参考訳）: 浅層ニューラルネットワークにおける概念の出現
- Authors: Elena Agliari, Francesco Alemanno, Adriano Barra, Giordano De Marzo
- Abstract要約: 我々は,定型だが不可能なアーチタイプを曖昧にコピーした非構造化データセット上で訓練された制限されたボルツマンマシン(RBM)を考える。」
RBMが古型を学習できる限界標本サイズが存在することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider restricted Boltzmann machine (RBMs) trained over an unstructured
dataset made of blurred copies of definite but unavailable ``archetypes'' and
we show that there exists a critical sample size beyond which the RBM can learn
archetypes, namely the machine can successfully play as a generative model or
as a classifier, according to the operational routine. In general, assessing a
critical sample size (possibly in relation to the quality of the dataset) is
still an open problem in machine learning. Here, restricting to the random
theory, where shallow networks suffice and the grand-mother cell scenario is
correct, we leverage the formal equivalence between RBMs and Hopfield networks,
to obtain a phase diagram for both the neural architectures which highlights
regions, in the space of the control parameters (i.e., number of archetypes,
number of neurons, size and quality of the training set), where learning can be
accomplished. Our investigations are led by analytical methods based on the
statistical-mechanics of disordered systems and results are further
corroborated by extensive Monte Carlo simulations.
- Abstract（参考訳）: 我々は,定型化されていない 'archetypes'' のコピーからなる非構造化データセット上で訓練された制限ボルツマンマシン (RBM) を考察し,RBM がアーキタイプを学習できる限界標本サイズ,すなわち,操作ルーチンに従って,機械が生成モデルや分類器としてうまく動作可能であることを示す。
一般に、クリティカルサンプルサイズ(おそらくデータセットの品質に関連している)を評価することは、マシンラーニングにおいて依然としてオープンな問題である。
ここでは、浅いネットワークが十分であり、グランドマザーセルのシナリオが正しいランダム理論に制限し、RAMとホップフィールドのネットワーク間の形式的等価性を利用して、制御パラメータの空間(アーチェタイプ数、ニューロン数、トレーニングセットのサイズ、品質など)において領域を強調するニューラルネットワークアーキテクチャの相図を得る。
本研究は,無秩序システムの統計力学に基づく解析手法によって導かれ,モンテカルロシミュレーションによりさらに裏付けられる。
関連論文リスト
- Fundamental limits of overparametrized shallow neural networks for
supervised learning [11.136777922498355]
本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。
この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
論文 参考訳（メタデータ） (2023-07-11T08:30:50Z) - Dense Hebbian neural networks: a replica symmetric picture of supervised
learning [4.133728123207142]
我々は教師が指導する高密度で連想的なニューラルネットについて検討する。
スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
論文 参考訳（メタデータ） (2022-11-25T13:37:47Z) - Dense Hebbian neural networks: a replica symmetric picture of
unsupervised learning [4.133728123207142]
我々は、監督なしで訓練された密集的で連想的なニューラルネットを考える。
本稿では,モンテカルロシミュレーションを用いて,その計算能力を解析的に,統計力学的手法を用いて,数値解析的に検討する。
論文 参考訳（メタデータ） (2022-11-25T12:40:06Z) - A didactic approach to quantum machine learning with a single qubit [68.8204255655161]
我々は、データ再ロード技術を用いて、単一のキュービットで学習するケースに焦点を当てる。
我々は、Qiskit量子コンピューティングSDKを用いて、おもちゃと現実世界のデータセットに異なる定式化を実装した。
論文 参考訳（メタデータ） (2022-11-23T18:25:32Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - MLDS: A Dataset for Weight-Space Analysis of Neural Networks [0.0]
MLDSは、注意深く制御されたパラメータを持つ何千ものトレーニングニューラルネットワークからなる新しいデータセットである。
このデータセットは、モデル-to-modelとモデル-to-training-data関係に関する新たな洞察を可能にする。
論文 参考訳（メタデータ） (2021-04-21T14:24:26Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳（メタデータ） (2020-10-20T08:36:51Z) - Rare-Event Simulation for Neural Network and Random Forest Predictors [16.701364984106092]
本研究では,現代の機械学習ツールを用いて,対象のヒットセットが定義される問題に対して,レアイベントシミュレーションについて検討する。
この問題は、インテリジェントシステムの安全性評価に関する急激な研究から動機づけられている。
論文 参考訳（メタデータ） (2020-10-10T03:27:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。