論文の概要: How and what to learn:The modes of machine learning
- arxiv url: http://arxiv.org/abs/2202.13829v1
- Date: Mon, 28 Feb 2022 14:39:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 15:44:56.233488
- Title: How and what to learn:The modes of machine learning
- Title（参考訳）: 学習の仕方と方法:機械学習のモード
- Authors: Sihan Feng, Yong Zhang, Fuming Wang, Hong Zhao
- Abstract要約: 本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。
WPAは、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用していることを示し、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造にエンコードする。
隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
- 参考スコア（独自算出の注目度）: 7.085027463060304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We proposal a new approach, namely the weight pathway analysis (WPA), to
study the mechanism of multilayer neural networks. The weight pathways linking
neurons longitudinally from input neurons to output neurons are considered as
the basic units of a neural network. We decompose a neural network into a
series of subnetworks of weight pathways, and establish characteristic maps for
these subnetworks. The parameters of a characteristic map can be visualized,
providing a longitudinal perspective of the network and making the neural
network explainable. Using WPA, we discover that a neural network stores and
utilizes information in a "holographic" way, that is, the network encodes all
training samples in a coherent structure. An input vector interacts with this
"holographic" structure to enhance or suppress each subnetwork which working
together to produce the correct activities in the output neurons to recognize
the input sample. Furthermore, with WPA, we reveal fundamental learning modes
of a neural network: the linear learning mode and the nonlinear learning mode.
The former extracts linearly separable features while the latter extracts
linearly inseparable features. It is found that hidden-layer neurons
self-organize into different classes in the later stages of the learning
process. It is further discovered that the key strategy to improve the
performance of a neural network is to control the ratio of the two learning
modes to match that of the linear and the nonlinear features, and that
increasing the width or the depth of a neural network helps this ratio
controlling process. This provides theoretical ground for the practice of
optimizing a neural network via increasing its width or its depth. The
knowledge gained with WPA enables us to understand the fundamental questions
such as what to learn, how to learn, and how can learn well.
- Abstract（参考訳）: 本稿では, 重み経路解析(WPA)と呼ばれる新しい手法を提案し, 多層ニューラルネットワークのメカニズムについて検討する。
入力ニューロンから出力ニューロンへニューロンを縦方向につなぐ重み経路は、ニューラルネットワークの基本単位と見なされる。
我々は、ニューラルネットワークを一連の重み経路のサブネットワークに分解し、これらのサブネットワークの特徴マップを確立する。
特徴マップのパラメータを可視化することができ、ネットワークの縦方向の視点を提供し、ニューラルネットワークを説明可能にする。
wpaを用いて、ニューラルネットワークが情報を「ホログラフィック」な方法で保存し、活用すること、すなわち、ネットワークはすべてのトレーニングサンプルをコヒーレントな構造でエンコードすることを発見した。
入力ベクターは、この「ホログラフィック」構造と相互作用して、入力サンプルを認識する出力ニューロンの正しい活動を生成するために協調する各サブネットワークを強化または抑制する。
さらに,wpaを用いて,線形学習モードと非線形学習モードという,ニューラルネットワークの基本学習モードを明らかにする。
前者は線形分離可能な特徴を抽出し、後者は線形分離可能な特徴を抽出する。
隠れた層状ニューロンは学習過程の後半で異なるクラスに自己組織化することが判明した。
さらに、ニューラルネットワークの性能を向上させるための重要な戦略は、線形および非線形特徴と一致する2つの学習モードの比率を制御することであり、ニューラルネットワークの幅または深さを増やすことは、この比率制御プロセスに役立つことが判明した。
これにより、ニューラルネットワークの幅や深さを最大化することで、理論的基盤を提供する。
WPAで得られた知識は、何を学ぶか、どのように学ぶか、どのようにうまく学ぶかといった基本的な質問を理解するのに役立ちます。
関連論文リスト
- Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳（メタデータ） (2024-06-07T08:32:30Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - A Sparse Quantized Hopfield Network for Online-Continual Memory [0.0]
神経系は、ノイズの多いデータポイントのストリームが非独立で同一に分散された(非i.d.)方法で提示されるオンライン学習を行う。
一方、ディープネットワークは、通常非ローカルな学習アルゴリズムを使用し、オフライン、非ノイズ、すなわち設定で訓練される。
我々は、スパース量子ホップフィールドネットワーク(SQHN)と呼ばれる新しいニューラルネットワークにこの種のモデルを実装する。
論文 参考訳（メタデータ） (2023-07-27T17:46:17Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳（メタデータ） (2023-04-29T11:46:53Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - A biologically plausible neural network for multi-channel Canonical
Correlation Analysis [12.940770779756482]
皮質錐体ニューロンは、複数の神経集団から入力を受け取り、これらの入力を別々の樹状体区画に統合する。
我々は,生物学的に妥当なニューラルネットワークで実装可能なマルチチャネルCAAアルゴリズムを提案する。
生物学的信頼性のためには、ネットワークはオンライン環境で動作し、シナプス更新ルールはローカルである必要がある。
論文 参考訳（メタデータ） (2020-10-01T16:17:53Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z) - Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural
Networks [3.7277730514654555]
決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。
同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
論文 参考訳（メタデータ） (2020-02-11T11:22:20Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。