論文の概要: A theory of learning with constrained weight-distribution
- arxiv url: http://arxiv.org/abs/2206.08933v1
- Date: Tue, 14 Jun 2022 00:43:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 07:12:12.099039
- Title: A theory of learning with constrained weight-distribution
- Title（参考訳）: 制約付き重み分布による学習の理論
- Authors: Weishun Zhong, Ben Sorscher, Daniel D Lee, Haim Sompolinsky
- Abstract要約: 構造情報を制約として組み込んだニューラルネットワークにおける学習の統計力学的理論を開発する。
我々は,確率分布のワッサーシュタイン空間における測地流として,我々のアルゴリズムのトレーニングを解釈できることを示した。
我々の理論とアルゴリズムは、ウェイトに関する事前知識を学習に取り入れる新しい戦略を提供し、ニューラルネットワークの構造と機能の間の強力な関係を明らかにする。
- 参考スコア（独自算出の注目度）: 17.492950552276067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central question in computational neuroscience is how structure determines
function in neural networks. The emerging high-quality large-scale connectomic
datasets raise the question of what general functional principles can be
gleaned from structural information such as the distribution of
excitatory/inhibitory synapse types and the distribution of synaptic weights.
Motivated by this question, we developed a statistical mechanical theory of
learning in neural networks that incorporates structural information as
constraints. We derived an analytical solution for the memory capacity of the
perceptron, a basic feedforward model of supervised learning, with constraint
on the distribution of its weights. Our theory predicts that the reduction in
capacity due to the constrained weight-distribution is related to the
Wasserstein distance between the imposed distribution and that of the standard
normal distribution. To test the theoretical predictions, we use optimal
transport theory and information geometry to develop an SGD-based algorithm to
find weights that simultaneously learn the input-output task and satisfy the
distribution constraint. We show that training in our algorithm can be
interpreted as geodesic flows in the Wasserstein space of probability
distributions. We further developed a statistical mechanical theory for
teacher-student perceptron rule learning and ask for the best way for the
student to incorporate prior knowledge of the rule. Our theory shows that it is
beneficial for the learner to adopt different prior weight distributions during
learning, and shows that distribution-constrained learning outperforms
unconstrained and sign-constrained learning. Our theory and algorithm provide
novel strategies for incorporating prior knowledge about weights into learning,
and reveal a powerful connection between structure and function in neural
networks.
- Abstract（参考訳）: 計算神経科学における中心的な問題は、構造がどのようにニューラルネットワークの機能を決定するかである。
新たな高品質な大規模コネクトロミクスデータセットは、興奮/阻害シナプス型の分布やシナプス重みの分布といった構造情報から、一般的な機能原理を導き出すことができるのかという疑問を提起する。
そこで我々は,構造情報を制約として組み込んだニューラルネットワークにおける学習の統計力学理論を開発した。
本研究では,教師付き学習の基本フィードフォワードモデルであるパーセプトロンの記憶容量に関する解析解を導出し,重みの分布を制約した。
本理論は, 負荷分布と標準正規分布との間のワッサースタイン距離と, 制約された重量分布による容量減少が関係していると予測する。
理論予測をテストするために,最適輸送理論と情報幾何を用いて,入力出力タスクを同時に学習し,分布制約を満たす重みを求めるsgdアルゴリズムを開発した。
確率分布のwasserstein空間における測地流としてアルゴリズムの学習を解釈できることを示す。
さらに,教師・学生による受身ルール学習のための統計力学理論を開発し,ルールの事前知識を学生に取り入れる最善の方法を求める。
本理論は,学習者が学習中に異なる事前の重み分布を採用することが有益であることを示し,分布制約学習が非制約学習および手話制約学習より優れていることを示す。
本理論とアルゴリズムは、学習に重みに関する事前知識を組み込むための新しい戦略を提供し、ニューラルネットワークの構造と機能の間の強力な関係を明らかにする。
関連論文リスト
- Learning Theory of Distribution Regression with Neural Networks [6.961253535504979]
完全連結ニューラルネットワーク(FNN)による近似理論と分布回帰の学習理論を確立する。
古典回帰法とは対照的に、分布回帰の入力変数は確率測度である。
論文 参考訳（メタデータ） (2023-07-07T09:49:11Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Statistical mechanics of continual learning: variational principle and
mean-field potential [1.559929646151698]
重み付き単層および多層ニューラルネットワークにおける連続学習に着目する。
ニューラルネットワークをフィールド空間でトレーニングする,変分ベイズ学習環境を提案する。
重みの不確実性は自然に組み込まれ、タスク間のシナプス資源を調節する。
提案するフレームワークは、弾力的な重みの強化、重みの不確実性学習、神経科学によるメタ可塑性にも結びついている。
論文 参考訳（メタデータ） (2022-12-06T09:32:45Z) - Statistical Physics of Deep Neural Networks: Initialization toward
Optimal Channels [6.144858413112823]
ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。
ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
論文 参考訳（メタデータ） (2022-12-04T05:13:01Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Theory-guided hard constraint projection (HCP): a knowledge-based
data-driven scientific machine learning method [7.778724782015986]
本研究は理論誘導型ハード制約射影(hcp)を提案する。
このモデルは、支配方程式のような物理的な制約を、離散化によって容易に扱える形式に変換する。
理論誘導型HCPの性能は不均一な地下流れ問題に基づく実験により検証した。
論文 参考訳（メタデータ） (2020-12-11T06:17:43Z) - Geometry Perspective Of Estimating Learning Capability Of Neural
Networks [0.0]
本稿では,勾配勾配勾配を用いた最小二乗回帰(SGD)を一般化したニューラルネットワークの幅広いクラスについて考察する。
一般化能力とニューラルネットワークの安定性との関係についても論じている。
ニューラルネットワークの学習理論と高エネルギー物理の原理を関連付けることにより,人工ニューラルネットワークの観点からの複雑性・摩擦予想の変種を確立する。
論文 参考訳（メタデータ） (2020-11-03T12:03:19Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。