論文の概要: Hebbian Continual Representation Learning

• arxiv url: http://arxiv.org/abs/2207.04874v1
• Date: Tue, 28 Jun 2022 09:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-17 17:09:24.950205
• Title: Hebbian Continual Representation Learning
• Title（参考訳）: ヘビアン連続表現学習
• Authors: Pawe{\l} Morawiecki, Andrii Krutsylo, Maciej Wo{\l}czyk, Marek \'Smieja
• Abstract要約: 継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。 生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
• 参考スコア（独自算出の注目度）: 9.54473759331265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Learning aims to bring machine learning into a more realistic scenario, where tasks are learned sequentially and the i.i.d. assumption is not preserved. Although this setting is natural for biological systems, it proves very difficult for machine learning models such as artificial neural networks. To reduce this performance gap, we investigate the question whether biologically inspired Hebbian learning is useful for tackling continual challenges. In particular, we highlight a realistic and often overlooked unsupervised setting, where the learner has to build representations without any supervision. By combining sparse neural networks with Hebbian learning principle, we build a simple yet effective alternative (HebbCL) to typical neural network models trained via the gradient descent. Due to Hebbian learning, the network have easily interpretable weights, which might be essential in critical application such as security or healthcare. We demonstrate the efficacy of HebbCL in an unsupervised learning setting applied to MNIST and Omniglot datasets. We also adapt the algorithm to the supervised scenario and obtain promising results in the class-incremental learning.
• Abstract（参考訳）: 継続的学習は、タスクが逐次学習され、i.d.仮定が保存されない、より現実的なシナリオに機械学習をもたらすことを目的としている。 この設定は生物学的システムには自然であるが、人工ニューラルネットワークのような機械学習モデルでは極めて困難である。 このパフォーマンスギャップを軽減するために,生物学的にインスパイアされたヘビー学習が継続的な課題に取り組む上で有用かどうかを考察する。 特に、現実的でしばしば見落とされがちな教師なしの設定を強調し、学習者は監督なしに表現を構築しなければならない。 疎ニューラルネットワークとヘビー学習原理を組み合わせることで、勾配降下によって学習される典型的なニューラルネットワークモデルに対して、単純で効果的な代替(hebbcl)を構築する。 Hebbianの学習により、ネットワークは容易に解釈可能な重みを持ち、セキュリティや医療といった重要な応用に欠かせない。 MNISTおよびOmniglotデータセットに適用した教師なし学習環境におけるHebbCLの有効性を示す。 また,教師付きシナリオにアルゴリズムを適用し,授業実践学習において有望な結果を得る。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Dynamics of Supervised and Reinforcement Learning in the Non-Linear Perceptron [3.069335774032178]
  学習を記述するフロー方程式を導出するために,データセット処理アプローチを用いる。 学習ルール(教師付きまたは強化学習,SL/RL)と入力データ分布が知覚者の学習曲線に及ぼす影響を特徴付ける。 このアプローチは、より複雑な回路アーキテクチャの学習力学を解析する方法を示している。
  論文  参考訳（メタデータ） (2024-09-05T17:58:28Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Activation Learning by Local Competitions [4.441866681085516]
  我々は,神経細胞間の局所的な競合によって特徴を見出す,生物学に着想を得た学習ルールを開発した。 この局所学習規則によって学習された教師なし特徴が事前学習モデルとして機能することが実証された。
  論文  参考訳（メタデータ） (2022-09-26T10:43:29Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• Learning to Modulate Random Weights: Neuromodulation-inspired Neural Networks For Efficient Continual Learning [1.9580473532948401]
  生体神経系における神経調節にインスパイアされた新しいニューラルネットワークアーキテクチャを導入する。 学習可能なパラメータが極めて少ないにもかかわらず,本手法はタスク毎の学習性能が極めて高いことを示す。
  論文  参考訳（メタデータ） (2022-04-08T21:12:13Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks [2.7666483899332643]
  階層的,畳み込みニューラルネットワークにおけるヘビアン学習は,現代のディープラーニングフレームワークとほぼ自明に実装可能であることを示す。 我々はオブジェクト認識のためのヘビアン畳み込み多層ネットワークを構築した。
  論文  参考訳（メタデータ） (2021-07-04T20:50:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。