論文の概要: PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis

• arxiv url: http://arxiv.org/abs/2405.14650v2
• Date: Tue, 25 Mar 2025 03:51:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 20:13:39.641962
• Title: PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis
• Title（参考訳）: PhiNets: 時間的予測仮説に基づく脳インスパイアされた非コントラスト学習
• Authors: Satoki Ishikawa, Makoto Yamada, Han Bao, Yuki Takezawa,
• Abstract要約: 我々は、CA3とCA1に明示的に対応する2つの予測器を持つSimSiamの拡張であるPhiNetを提案する。 我々の研究は、時間的予測仮説がロバスト性および適応性の観点から妥当なモデルであることを明らかにしている。
• 参考スコア（独自算出の注目度）: 15.721203529567967
• License:
• Abstract: Predictive coding is a theory which hypothesises that cortex predicts sensory inputs at various levels of abstraction to minimise prediction errors. Inspired by predictive coding, Chen et al. (2024) proposed another theory, temporal prediction hypothesis, to claim that sequence memory residing in hippocampus has emerged through predicting input signals from the past sensory inputs. Specifically, they supposed that the CA3 predictor in hippocampus creates synaptic delay between input signals, which is compensated by the following CA1 predictor. Though recorded neural activities were replicated based on the temporal prediction hypothesis, its validity has not been fully explored. In this work, we aim to explore the temporal prediction hypothesis from the perspective of self-supervised learning. Specifically, we focus on non-contrastive learning, which generates two augmented views of an input image and predicts one from another. Non-contrastive learning is intimately related to the temporal prediction hypothesis because the synaptic delay is implicitly created by StopGradient. Building upon a popular non-contrastive learner, SimSiam, we propose PhiNet, an extension of SimSiam to have two predictors explicitly corresponding to the CA3 and CA1, respectively. Through studying the PhiNet model, we discover two findings. First, meaningful data representations emerge in PhiNet more stably than in SimSiam. This is initially supported by our learning dynamics analysis: PhiNet is more robust to the representational collapse. Second, PhiNet adapts more quickly to newly incoming patterns in online and continual learning scenarios. For practitioners, we additionally propose an extension called X-PhiNet integrated with a momentum encoder, excelling in continual learning. All in all, our work reveals that the temporal prediction hypothesis is a reasonable model in terms of the robustness and adaptivity.
• Abstract（参考訳）: 予測符号化(英: Predictive coding)とは、大脳皮質が様々な抽象レベルで感覚入力を予測し、予測誤差を最小化する仮説である。 予測符号化にインスパイアされたChen et al (2024) は、過去の感覚入力から入力信号を予測することによって、海馬に存在するシーケンスメモリが出現したと主張する別の理論である時間予測仮説を提案した。 具体的には、海馬のCA3予測器は入力信号間のシナプス遅延を生じさせ、次のCA1予測器によって補償されると考えられる。 記録された神経活動は、時間的予測仮説に基づいて複製されたが、その妥当性は十分に調査されていない。 本研究では,自己指導型学習の観点から時間的予測仮説を検討することを目的とする。 具体的には、入力画像の2つの拡張ビューを生成し、一方を他方から予測するノンコントラスト学習に焦点を当てる。 非コントラスト学習は、StopGradientによって暗黙的にシナプス遅延が生成されるため、時間的予測仮説と密接に関連している。 一般的な非コントラスト学習者であるSimSiamをベースとして,CA3とCA1に対応する2つの予測器を持つPhiNetを提案する。 PhiNetモデルの研究により,2つの知見が得られた。 まず、意味のあるデータ表現は、SimSiamよりも安定してPhiNetに現れる。 PhiNetは表現的崩壊に対してより堅牢です。 第2に、PhiNetは、オンラインおよび継続的学習シナリオで新たにやってくるパターンに、より迅速に適応する。 実践者に対しては,運動量エンコーダと統合されたX-PhiNetという拡張も提案し,連続学習に優れる。 全体として、我々の研究は時間的予測仮説が堅牢性と適応性の観点から妥当なモデルであることを明らかにしている。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• A Neural Network Implementation for Free Energy Principle [3.7937771805690392]
  自由エネルギー原理 (FEP) は認知科学、神経科学、社会相互作用、熱力学などの分野における様々な問題に広く応用されている。 本稿では、古典的ニューラルネットワークモデルであるヘルムホルツマシンを用いて、FEPと機械学習をブリッジする予備的な試みを示す。 ヘルムホルツ機械は一時的ではないが、バニラFEPと脳の階層モデルと平行な理想を与える。
  論文  参考訳（メタデータ） (2023-06-11T22:14:21Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Latent Equilibrium: A unified learning theory for arbitrarily fast computation with arbitrarily slow neurons [0.7340017786387767]
  遅いコンポーネントのネットワークにおける推論と学習のための新しいフレームワークであるLatent Equilibriumを紹介する。 我々は, ニューロンとシナプスのダイナミクスを, 将来的なエネルギー関数から導出する。 本稿では,大脳皮質微小循環の詳細なモデルに我々の原理を適用する方法について述べる。
  論文  参考訳（メタデータ） (2021-10-27T16:15:55Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。