論文の概要: Identifying Learning Rules From Neural Network Observables

• arxiv url: http://arxiv.org/abs/2010.11765v2
• Date: Tue, 8 Dec 2020 18:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 06:14:56.215246
• Title: Identifying Learning Rules From Neural Network Observables
• Title（参考訳）: ニューラルネットワークから学習ルールを識別する
• Authors: Aran Nayebi, Sanjana Srivastava, Surya Ganguli, Daniel L.K. Yamins
• Abstract要約: 学習ルールの異なるクラスは、重み、アクティベーション、即時的な階層的活動変化の集計統計に基づいてのみ分離可能であることを示す。 本研究は, シナプス後活動の電気生理学的記録から得られる活性化パターンが, 学習規則の同定に有効であることを示すものである。
• 参考スコア（独自算出の注目度）: 26.96375335939315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The brain modifies its synaptic strengths during learning in order to better adapt to its environment. However, the underlying plasticity rules that govern learning are unknown. Many proposals have been suggested, including Hebbian mechanisms, explicit error backpropagation, and a variety of alternatives. It is an open question as to what specific experimental measurements would need to be made to determine whether any given learning rule is operative in a real biological system. In this work, we take a "virtual experimental" approach to this problem. Simulating idealized neuroscience experiments with artificial neural networks, we generate a large-scale dataset of learning trajectories of aggregate statistics measured in a variety of neural network architectures, loss functions, learning rule hyperparameters, and parameter initializations. We then take a discriminative approach, training linear and simple non-linear classifiers to identify learning rules from features based on these observables. We show that different classes of learning rules can be separated solely on the basis of aggregate statistics of the weights, activations, or instantaneous layer-wise activity changes, and that these results generalize to limited access to the trajectory and held-out architectures and learning curricula. We identify the statistics of each observable that are most relevant for rule identification, finding that statistics from network activities across training are more robust to unit undersampling and measurement noise than those obtained from the synaptic strengths. Our results suggest that activation patterns, available from electrophysiological recordings of post-synaptic activities on the order of several hundred units, frequently measured at wider intervals over the course of learning, may provide a good basis on which to identify learning rules.
• Abstract（参考訳）: 脳は学習中のシナプスの強さを調整し、環境に適応する。 しかし、学習を統治する可塑性規則は定かではない。 ヘビー機構、明示的なエラーバックプロパゲーション、様々な代替案など、多くの提案が提案されている。 特定の学習規則が実際の生体システムで動作しているかどうかを判断するために、どのような実験的な測定が必要かは、公然の疑問である。 本研究では,この問題に対して「仮想実験的」なアプローチをとる。 ニューラルネットワークを用いた理想的な神経科学実験をシミュレーションし、ニューラルネットワークアーキテクチャ、損失関数、学習規則ハイパーパラメーター、パラメータ初期化で測定された集約統計の学習軌跡の大規模データセットを生成する。 次に、線形および単純な非線形分類器を訓練し、これらの観測値に基づいて特徴から学習規則を識別する。 学習ルールのクラスは,重み,アクティベーション,即時的な階層的活動変化の統計量に基づいてのみ分離できることを示し,これらの結果は,軌跡および留置型アーキテクチャや学習カリキュラムへの限定的なアクセスに一般化できることを示した。 規則同定に最も関係の深い観測対象の統計を同定し,訓練中のネットワーク活動から得られる統計が,シナプス強度より単位アンダーサンプリングや測定ノイズに頑健であることが判明した。 以上の結果から,数百単位のシナプス後活動の電気生理学的記録から得られる活性化パターンが,学習過程を通じてより広い間隔で測定されることが,学習規則の特定に有効である可能性が示唆された。

関連論文リスト

• Provably Neural Active Learning Succeeds via Prioritizing Perplexing Samples [53.95282502030541]
  ニューラルネットワークベースのアクティブラーニング(NAL)は、ニューラルネットワークを使用してサンプルの小さなサブセットを選択してトレーニングする、費用対効果の高いデータ選択技術である。 我々は、機能学習の観点から、両方のクエリ基準ベースのNALの成功について、統一的な説明を提供することにより、一歩前進させようとする。
  論文  参考訳（メタデータ） (2024-06-06T10:38:01Z)
• How connectivity structure shapes rich and lazy learning in neural circuits [14.236853424595333]
  本稿では,初期重みの構造,特にその有効ランクがネットワーク学習体制に与える影響について検討する。 本研究は,学習体制形成における初期重み構造の役割を明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-12T17:08:45Z)
• Understanding Activation Patterns in Artificial Neural Networks by Exploring Stochastic Processes [0.0]
  我々はこれまで未利用であったプロセスの枠組みを活用することを提案する。 我々は、実際のニューロンスパイク列車に使用される神経科学技術を活用した、アクティベーション周波数のみに焦点をあてる。 各ネットワークにおけるアクティベーションパターンを記述するパラメータを導出し、アーキテクチャとトレーニングセット間で一貫した差異を明らかにする。
  論文  参考訳（メタデータ） (2023-08-01T22:12:30Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Distinguishing Learning Rules with Brain Machine Interfaces [0.0]
  生物学的に妥当な教師付きおよび強化学習ルールを検討する。 学習中のネットワーク活動の変化を観察することにより,学習ルールを区別する指標を導出する。
  論文  参考訳（メタデータ） (2022-06-27T16:58:30Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。