論文の概要: Hierarchical temporal receptive windows and zero-shot timescale generalization in biologically constrained scale-invariant deep networks

• arxiv url: http://arxiv.org/abs/2601.02618v1
• Date: Tue, 06 Jan 2026 00:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.755432
• Title: Hierarchical temporal receptive windows and zero-shot timescale generalization in biologically constrained scale-invariant deep networks
• Title（参考訳）: 生物学的に制約されたスケール不変ディープネットワークにおける階層的時間受容ウィンドウとゼロショット時間スケール一般化
• Authors: Aakash Sarkar, Marc W. Howard,
• Abstract要約: 我々は、スケール不変の海馬時間細胞に基づいて、生物学的に制約された深層ネットワークを訓練する。 ネットワークは層内に同じ時間定数のスペクトルを持つにもかかわらず、TRWの階層構造が自然に層全体に出現することを発見した。 次に、これらの誘導前駆体を生物学的に妥当な再帰的アーキテクチャであるSITH-RNNに蒸留した。
• 参考スコア（独自算出の注目度）: 1.2031796234206136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human cognition integrates information across nested timescales. While the cortex exhibits hierarchical Temporal Receptive Windows (TRWs), local circuits often display heterogeneous time constants. To reconcile this, we trained biologically constrained deep networks, based on scale-invariant hippocampal time cells, on a language classification task mimicking the hierarchical structure of language (e.g., 'letters' forming 'words'). First, using a feedforward model (SITHCon), we found that a hierarchy of TRWs emerged naturally across layers, despite the network having an identical spectrum of time constants within layers. We then distilled these inductive priors into a biologically plausible recurrent architecture, SITH-RNN. Training a sequence of architectures ranging from generic RNNs to this restricted subset showed that the scale-invariant SITH-RNN learned faster with orders-of-magnitude fewer parameters, and generalized zero-shot to out-of-distribution timescales. These results suggest the brain employs scale-invariant, sequential priors - coding "what" happened "when" - making recurrent networks with such priors particularly well-suited to describe human cognition.
• Abstract（参考訳）: 人間の認知は、ネストした時間スケールで情報を統合する。 大脳皮質は階層的側頭葉受容窓(TRW)を呈するが、局所回路は不均一な時間定数を示すことが多い。 そこで本研究では, 海馬の海馬の海馬の時間構造を模倣した言語分類課題に基づいて, 生物学的に制約された深層ネットワークを訓練した。 まず, フィードフォワードモデル (SITHCon) を用いて, TRWの階層構造が層間に自然に出現することを発見した。 次に、これらの誘導前駆体を生物学的に妥当な再帰的アーキテクチャであるSITH-RNNに蒸留した。 汎用的なRNNからこの制限されたサブセットまで、一連のアーキテクチャを訓練した結果、スケール不変なSITH-RNNはパラメータのオーダーを減らし、ゼロショットからアウト・オブ・ディストリビューションのタイムスケールを一般化した。 これらの結果は、脳がスケール不変でシーケンシャルな前駆体(「何が起きたか」をコーディングする)を採用しており、人間の認知を記述するのに特に適していることを示唆している。

関連論文リスト

• Bearing Syntactic Fruit with Stack-Augmented Neural Networks [59.49467149799849]
  スタック拡張ニューラルネットワークは、標準的なアーキテクチャよりも、人間の言語習得の正確なモデルであることを示す。 また、階層的一般化を改善するスタックRNNアーキテクチャの修正も提案する。
  論文  参考訳（メタデータ） (2025-11-05T15:30:58Z)
• Temporal Chunking Enhances Recognition of Implicit Sequential Patterns [11.298233331771975]
  本稿では、時間的シーケンスを文脈タグ付きチャンクに圧縮する神経インスパイアされたアプローチを提案する。 これらのタグはオフラインのスリープフェーズで生成され、過去の経験のコンパクトな参照として機能する。 我々は、従来のニューラルネットワークに基づくシーケンス学習者の限界を明らかにするために、制御された合成環境において、このアイデアを評価する。
  論文  参考訳（メタデータ） (2025-05-31T14:51:08Z)
• The Role of Temporal Hierarchy in Spiking Neural Networks [2.0881857682885836]
  スパイキングニューラルネットワーク(SNN)は、空間的パラメータと時間的パラメータの両方を活用することにより、リッチ時間信号処理の可能性を秘めている。 最近、時間定数は、ネットワークで必要とされるパラメータの総数を減らすのに役立つ計算上の利点があることが示されている。 最適化のコストを削減するために、この場合、時間領域においてアーキテクチャバイアスを適用することができる。 本稿では,SNNの隠蔽層に時間的表現の階層を付加し,そのような帰納的バイアスが性能を向上させることを明らかにする。
  論文  参考訳（メタデータ） (2024-07-26T16:00:20Z)
• On The Expressivity of Recurrent Neural Cascades [48.87943990557107]
  リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。 RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
  論文  参考訳（メタデータ） (2023-12-14T15:47:26Z)
• Time Regularization in Optimal Time Variable Learning [0.4490343701046724]
  近年、arXiv:2204.08528では、ディープニューラルネットワーク(DNN)における最適時変学習が導入されている。 離散力学系における時間的地平線に直接関係する正規化項を導入することにより、この概念を拡張する。 本稿では,Residual Neural Networks(ResNets)に対する適応型プルーニング手法を提案する。 提案した概念を、よく知られたMNISTとFashion MNISTデータセットの分類タスクに適用することによって、その結果が示される。
  論文  参考訳（メタデータ） (2023-06-28T11:27:48Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Temporal and Object Quantification Networks [95.64650820186706]
  複雑な関係時間事象を認識できる構造バイアスを持つニューロシンボリックネットワークを新たに提案する。 我々は、TOQ-Netsが、少量のデータから、トレーニング中に存在したものよりも多くのオブジェクトを含むシナリオ、入力シーケンスの時間的ワープまでを一般化できることを実証した。
  論文  参考訳（メタデータ） (2021-06-10T16:18:21Z)
• DeepSITH: Efficient Learning via Decomposition of What and When Across Time Scales [0.0]
  ニューラルネットワークは、繰り返しニューラルネットワーク(RNN)の爆発/消去勾配問題に悩まされるか、またはパラメータを調整して関連する時間スケール(LSTMなど)を学ぶ必要があります。 本稿では,生物にインスパイアされたスケール不変時史(SITH)モジュールを層間密接な接続で連続的に構成するネットワークであるDeepSITHを紹介する。 SITHモジュールは幾何学的に配置された時間定数で入力に応答し、DeepSITHネットワークは一連の時間スケールに沿って問題を学ぶことができる。
  論文  参考訳（メタデータ） (2021-04-09T23:58:14Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。