論文の概要: PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis

• arxiv url: http://arxiv.org/abs/2405.14650v1
• Date: Thu, 23 May 2024 14:50:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:26:04.234599
• Title: PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis
• Title（参考訳）: PhiNets: 時間的予測仮説に基づく脳インスパイアされた非コントラスト学習
• Authors: Satoki Ishikawa, Makoto Yamada, Han Bao, Yuki Takezawa,
• Abstract要約: 本研究では,時間的予測仮説に基づく海馬モデルにインスパイアされたPhiNetを提案する。 PhiNetは、海馬のCA1領域を模倣するために、元の画像表現を推定する追加の予測ブロックを統合する。 我々は,学習表現の完全崩壊を防止するために,PhiNetが追加の予測器から得られる学習ダイナミクスを分析して実演する。
• 参考スコア（独自算出の注目度）: 15.721203529567967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: SimSiam is a prominent self-supervised learning method that achieves impressive results in various vision tasks under static environments. However, it has two critical issues: high sensitivity to hyperparameters, especially weight decay, and unsatisfactory performance in online and continual learning, where neuroscientists believe that powerful memory functions are necessary, as in brains. In this paper, we propose PhiNet, inspired by a hippocampal model based on the temporal prediction hypothesis. Unlike SimSiam, which aligns two augmented views of the original image, PhiNet integrates an additional predictor block that estimates the original image representation to imitate the CA1 region in the hippocampus. Moreover, we model the neocortex inspired by the Complementary Learning Systems theory with a momentum encoder block as a slow learner, which works as long-term memory. We demonstrate through analysing the learning dynamics that PhiNet benefits from the additional predictor to prevent the complete collapse of learned representations, a notorious challenge in non-contrastive learning. This dynamics analysis may partially corroborate why this hippocampal model is biologically plausible. Experimental results demonstrate that PhiNet is more robust to weight decay and performs better than SimSiam in memory-intensive tasks like online and continual learning.
• Abstract（参考訳）: SimSiamは、静的環境下で様々な視覚タスクにおいて印象的な結果を得る、卓越した自己教師型学習手法である。 しかし、ハイパーパラメータに対する高感度、特に体重減少、オンライン学習と連続学習における不満足なパフォーマンスという2つの重要な問題があり、神経科学者は脳のように強力な記憶機能が必要であると考えている。 本稿では,時間的予測仮説に基づく海馬モデルにインスパイアされたPhiNetを提案する。 オリジナルの画像の2つの拡張ビューを整列するSimSiamとは異なり、PhiNetはオリジナルの画像表現を推定する予測ブロックを統合して、海馬のCA1領域を模倣する。 さらに, 運動量エンコーダブロックをスローラーナとして, 長期記憶として機能させることで, 補足学習系理論にインスパイアされた新皮質をモデル化する。 我々は、PhiNetが学習表現の完全な崩壊を防ぐために追加の予測器から得られる学習力学を分析し、非競合学習における悪名高い課題を実証する。 この力学解析は、この海馬モデルが生物学的に妥当である理由を部分的に裏付ける可能性がある。 実験の結果、PhiNetは体重減少に対してより堅牢であり、オンラインや連続学習のようなメモリ集約的なタスクにおいてSimSiamよりも優れたパフォーマンスを示している。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• A Neural Network Implementation for Free Energy Principle [3.7937771805690392]
  自由エネルギー原理 (FEP) は認知科学、神経科学、社会相互作用、熱力学などの分野における様々な問題に広く応用されている。 本稿では、古典的ニューラルネットワークモデルであるヘルムホルツマシンを用いて、FEPと機械学習をブリッジする予備的な試みを示す。 ヘルムホルツ機械は一時的ではないが、バニラFEPと脳の階層モデルと平行な理想を与える。
  論文  参考訳（メタデータ） (2023-06-11T22:14:21Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。