論文の概要: Modeling Rapid Contextual Learning in the Visual Cortex with Fast-Weight Deep Autoencoder Networks

• arxiv url: http://arxiv.org/abs/2508.04988v1
• Date: Thu, 07 Aug 2025 02:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 21:11:55.653988
• Title: Modeling Rapid Contextual Learning in the Visual Cortex with Fast-Weight Deep Autoencoder Networks
• Title（参考訳）: 高速深部オートエンコーダネットワークを用いた視覚皮質における高速文脈学習のモデル化
• Authors: Yue Li, Weifan Wang, Tai Sing Lee,
• Abstract要約: 深層ニューラルネットワークの初期層において、親しみやすさのトレーニングがグローバルコンテキストに対する感受性をいかに引き起こすかを検討する。 以上の結果から,親しみやすさのトレーニングは,階層的なネットワークにおいて,従来の階層にグローバルな感度をもたらすことが示唆された。 ハイブリット・アンド・スローウェイト・アーキテクチャは、脳内の迅速なグローバルな文脈学習を研究するための実行可能な計算モデルを提供するかもしれない。
• 参考スコア（独自算出の注目度）: 5.340037999598434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent neurophysiological studies have revealed that the early visual cortex can rapidly learn global image context, as evidenced by a sparsification of population responses and a reduction in mean activity when exposed to familiar versus novel image contexts. This phenomenon has been attributed primarily to local recurrent interactions, rather than changes in feedforward or feedback pathways, supported by both empirical findings and circuit-level modeling. Recurrent neural circuits capable of simulating these effects have been shown to reshape the geometry of neural manifolds, enhancing robustness and invariance to irrelevant variations. In this study, we employ a Vision Transformer (ViT)-based autoencoder to investigate, from a functional perspective, how familiarity training can induce sensitivity to global context in the early layers of a deep neural network. We hypothesize that rapid learning operates via fast weights, which encode transient or short-term memory traces, and we explore the use of Low-Rank Adaptation (LoRA) to implement such fast weights within each Transformer layer. Our results show that (1) The proposed ViT-based autoencoder's self-attention circuit performs a manifold transform similar to a neural circuit model of the familiarity effect. (2) Familiarity training aligns latent representations in early layers with those in the top layer that contains global context information. (3) Familiarity training broadens the self-attention scope within the remembered image context. (4) These effects are significantly amplified by LoRA-based fast weights. Together, these findings suggest that familiarity training introduces global sensitivity to earlier layers in a hierarchical network, and that a hybrid fast-and-slow weight architecture may provide a viable computational model for studying rapid global context learning in the brain.
• Abstract（参考訳）: 近年の神経生理学的研究により、初期の視覚野は、人口反応のスペーサー化と、慣れ親しんだ画像と新しい画像のコンテキストに晒された際の平均活動の減少によって、急速にグローバルな画像コンテキストを学習できることが判明した。 この現象は、主にフィードフォワードやフィードバック経路の変化ではなく、局所的なリカレント相互作用によるもので、経験的発見と回路レベルのモデリングの両方によって支えられている。 これらの効果をシミュレートできるリカレント・ニューラル・サーキットは、ニューラル多様体の幾何学を再形成し、ロバスト性や無関係な変動に対する不変性を高めることが示されている。 本研究では、視覚変換器(ViT)を用いたオートエンコーダを用いて、機能的観点から、深層ニューラルネットワークの初期層におけるグローバルなコンテキストに対する感受性をいかに誘導するかを調査する。 高速学習は、過渡的あるいは短期的なメモリトレースを符号化する高速ウェイトによって行われると仮定し、各トランスフォーマー層にそのような高速ウェイトを実装するためにローランド適応(LoRA)を用いて検討する。 その結果,提案したViTベースの自己アテンション回路は,親しみやすさ効果のニューラル回路モデルに類似した多様体変換を行うことがわかった。 2)グローバルな文脈情報を含む最上位層と早期層における潜伏表現を一致させる。 (3)慣れ親しんだ訓練は、記憶された画像コンテキスト内の自己注意範囲を広げる。 (4)これらの効果はロラ系高速重量計で顕著に増幅される。 これらの結果は、親しみやすさのトレーニングが階層的なネットワークの初期の層にグローバルな感度をもたらすことを示唆し、ハイブリット・アンド・スローウェイト・アーキテクチャは、脳内の迅速なグローバルな文脈学習を研究するための実行可能な計算モデルを提供する可能性があることを示唆している。

関連論文リスト

• Neural network interpretability with layer-wise relevance propagation: novel techniques for neuron selection and visualization [0.49478969093606673]
  本稿では,選択したニューロンのパーシングを改善する新しいアプローチを提案する。 Visual Geometry Group 16 (VGG16) アーキテクチャをケーススタディとして用いたLRP後方伝播 本手法は、コンピュータビジョンアプリケーションのための、より透明な人工知能(AI)システムの開発を支援する。
  論文  参考訳（メタデータ） (2024-12-07T15:49:14Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Insights on Neural Representations for End-to-End Speech Recognition [28.833851817220616]
  エンドツーエンド自動音声認識(ASR)モデルは、一般化された音声表現を学習することを目的としている。 相関解析手法を用いたネットワーク類似性の調査は、エンド・ツー・エンドASRモデルでは行われていない。 本稿では,CNN,LSTM,Transformerをベースとしたトレーニングにおいて,レイヤ間の内部ダイナミクスを解析し,検討する。
  論文  参考訳（メタデータ） (2022-05-19T10:19:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A Study On the Effects of Pre-processing On Spatio-temporal Action Recognition Using Spiking Neural Networks Trained with STDP [0.0]
  ビデオ分類タスクにおいて,教師なし学習手法で訓練したSNNの行動を研究することが重要である。 本稿では,時間情報を静的な形式に変換し,遅延符号化を用いて視覚情報をスパイクに変換する手法を提案する。 スパイクニューラルネットワークを用いた行動認識における行動の形状と速度の類似性の効果を示す。
  論文  参考訳（メタデータ） (2021-05-31T07:07:48Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。