論文の概要: Contribution of task-irrelevant stimuli to drift of neural representations

• arxiv url: http://arxiv.org/abs/2510.21588v1
• Date: Fri, 24 Oct 2025 15:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 09:00:15.529889
• Title: Contribution of task-irrelevant stimuli to drift of neural representations
• Title（参考訳）: 課題非関連刺激の神経表現の漂流への寄与
• Authors: Farhad Pashakhanloo,
• Abstract要約: 生物学的および人工的な学習者は、その生涯を通じてデータと経験の流れに本質的にさらされている。 最近の研究によると、性能が安定しても、基礎となる神経表現は時間とともに徐々に変化する。 本研究では,データ分布の関数としてドリフトを特徴付けるとともに,タスク非関連刺激による学習ノイズが長期ドリフトを生じさせることを示す。
• 参考スコア（独自算出の注目度）: 2.0305676256390934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Biological and artificial learners are inherently exposed to a stream of data and experience throughout their lifetimes and must constantly adapt to, learn from, or selectively ignore the ongoing input. Recent findings reveal that, even when the performance remains stable, the underlying neural representations can change gradually over time, a phenomenon known as representational drift. Studying the different sources of data and noise that may contribute to drift is essential for understanding lifelong learning in neural systems. However, a systematic study of drift across architectures and learning rules, and the connection to task, are missing. Here, in an online learning setup, we characterize drift as a function of data distribution, and specifically show that the learning noise induced by task-irrelevant stimuli, which the agent learns to ignore in a given context, can create long-term drift in the representation of task-relevant stimuli. Using theory and simulations, we demonstrate this phenomenon both in Hebbian-based learning -- Oja's rule and Similarity Matching -- and in stochastic gradient descent applied to autoencoders and a supervised two-layer network. We consistently observe that the drift rate increases with the variance and the dimension of the data in the task-irrelevant subspace. We further show that this yields different qualitative predictions for the geometry and dimension-dependency of drift than those arising from Gaussian synaptic noise. Overall, our study links the structure of stimuli, task, and learning rule to representational drift and could pave the way for using drift as a signal for uncovering underlying computation in the brain.
• Abstract（参考訳）: 生物学的および人工的な学習者は、その生涯を通じてデータと経験のストリームに本質的に露出し、進行中の入力に常に適応し、学習し、あるいは選択的に無視しなければならない。 最近の研究では、性能が安定しても、基礎となる神経表現は時間とともに徐々に変化し、表現的ドリフトと呼ばれる現象が示されている。 ドリフトに寄与するさまざまなデータやノイズの研究は、ニューラルネットワークにおける生涯学習を理解する上で不可欠である。 しかし、アーキテクチャや学習ルール間のドリフトに関する体系的な研究や、タスクへの関連性は欠落している。 そこで、オンライン学習では、ドリフトをデータ分布の関数として特徴付け、特に、エージェントが与えられた文脈で無視することを学習するタスク関連刺激による学習ノイズが、タスク関連刺激の表現において長期ドリフトを生じさせることを示す。 理論とシミュレーションを用いて、オジャの規則と類似性マッチングのヘビアン学習と、オートエンコーダと教師付き2層ネットワークに適用された確率勾配勾配の両方において、この現象を実証する。 我々は,タスク非関連部分空間におけるデータの分散と次元によってドリフト率が増加することを一貫して観察する。 さらに、これはガウスのシナプスノイズから生じるものとは異なる幾何およびドリフトの次元依存性の定性的予測をもたらすことを示す。 全体として、我々の研究は、刺激、タスク、学習規則の構造を表現的ドリフトと結びつけ、脳の根底にある計算を解明するための信号としてドリフトを使用することの道を開くことができる。

関連論文リスト

• Adjustment for Confounding using Pre-Trained Representations [2.916285040262091]
  本研究では,事前学習したニューラルネットワークの潜時的特徴をどのように活用し,共起源の調整を行うかを検討する。 ニューラルネットワークは、学習問題の空間性と次元という本質的な概念に適応することで、高速収束率を達成することができることを示す。
  論文  参考訳（メタデータ） (2025-06-17T09:11:17Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network [0.0]
  脳や人工ネットワークで観察されているにもかかわらず、ドリフトのメカニズムとその意味は完全には理解されていない。 ピリフォーム大脳皮質における刺激依存性のドリフトに関する最近の実験結果に触発されて、我々はこの現象を2層線形フィードフォワードネットワークで研究するために理論とシミュレーションを用いた。
  論文  参考訳（メタデータ） (2023-02-06T04:56:05Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。