論文の概要: Activation Learning by Local Competitions

• arxiv url: http://arxiv.org/abs/2209.13400v1
• Date: Mon, 26 Sep 2022 10:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-28 14:24:03.734829
• Title: Activation Learning by Local Competitions
• Title（参考訳）: 地域競争による活性化学習
• Authors: Hongchao Zhou
• Abstract要約: 我々は,神経細胞間の局所的な競合によって特徴を見出す,生物学に着想を得た学習ルールを開発した。 この局所学習規則によって学習された教師なし特徴が事前学習モデルとして機能することが実証された。
• 参考スコア（独自算出の注目度）: 4.441866681085516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The backpropagation that drives the success of deep learning is most likely different from the learning mechanism of the brain. In this paper, we develop a biology-inspired learning rule that discovers features by local competitions among neurons, following the idea of Hebb's famous proposal. It is demonstrated that the unsupervised features learned by this local learning rule can serve as a pre-training model to improve the performance of some supervised learning tasks. More importantly, this local learning rule enables us to build a new learning paradigm very different from the backpropagation, named activation learning, where the output activation of the neural network roughly measures how probable the input patterns are. The activation learning is capable of learning plentiful local features from few shots of input patterns, and demonstrates significantly better performances than the backpropagation algorithm when the number of training samples is relatively small. This learning paradigm unifies unsupervised learning, supervised learning and generative models, and is also more secure against adversarial attack, paving a road to some possibilities of creating general-task neural networks.
• Abstract（参考訳）: ディープラーニングの成功を促すバックプロパゲーションは、おそらく脳の学習メカニズムとは異なるものだ。 本稿では,ヘッブの有名な提案に倣って,神経細胞間の局所的な競争の特徴を発見する生物学に基づく学習ルールを開発する。 この局所学習規則によって学習された教師なし特徴が,教師なし学習タスクの性能向上のための事前学習モデルとして機能することが実証された。 さらに重要なことは、この局所学習規則によって、ニューラルネットワークの出力活性化が入力パターンの確率を大まかに測定する、活性化学習と呼ばれる、バックプロパゲーションとは異なる新しい学習パラダイムを構築することができます。 アクティベーション学習は、少数の入力パターンから豊富な局所特徴を学習することができ、トレーニングサンプルの数が比較的少ない場合、バックプロパゲーションアルゴリズムよりもはるかに優れた性能を示す。 この学習パラダイムは教師なし学習、教師なし学習、生成モデルを統合すると同時に、敵の攻撃に対してより安全であり、汎用的なタスクニューラルネットワークを作成する可能性への道を開く。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Towards Scalable Adaptive Learning with Graph Neural Networks and Reinforcement Learning [0.0]
  学習経路のパーソナライズに関する問題に対して,フレキシブルでスケーラブルなアプローチを導入する。 我々のモデルはグラフニューラルネットワークに基づく逐次レコメンデーションシステムである。 以上の結果から,小規模データ体制における適切なレコメンデーションを学習できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-10T18:16:04Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Hebbian Continual Representation Learning [9.54473759331265]
  継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。 生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
  論文  参考訳（メタデータ） (2022-06-28T09:21:03Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• PyTorch-Hebbian: facilitating local learning in a deep learning framework [67.67299394613426]
  ヘビーンの局所学習は、バックプロパゲーションの代替の訓練メカニズムとしての可能性を示している。 本稿では,既存のディープラーニングパイプラインにおける局所学習ルールの網羅的かつ体系的な評価のための枠組みを提案する。 このフレームワークは、Krotov-Hopfield学習規則を精度を犠牲にすることなく標準の畳み込みニューラルネットワークに拡張するために使用される。
  論文  参考訳（メタデータ） (2021-01-31T10:53:08Z)
• Brain-inspired global-local learning incorporated with neuromorphic computing [35.70151531581922]
  我々は,脳に触発されたメタラーニングパラダイムと,神経力学とシナプス可塑性を取り入れた識別可能なスパイキングモデルを導入することで,ニューロモルフィックハイブリッド学習モデルを報告した。 ニューロモルフィック・ビジョン・センサにおける数ショット学習、連続学習、フォールトトレランス学習を含む複数のタスクにおいて、このモデルの利点を実証する。
  論文  参考訳（メタデータ） (2020-06-05T04:24:19Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。