論文の概要: Emergent time-keeping mechanisms in a deep reinforcement learning agent performing an interval timing task

• arxiv url: http://arxiv.org/abs/2508.15784v2
• Date: Tue, 26 Aug 2025 17:56:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.485457
• Title: Emergent time-keeping mechanisms in a deep reinforcement learning agent performing an interval timing task
• Title（参考訳）: 時間間隔タスクを行う深部強化学習エージェントの創発的時間維持機構
• Authors: Amrapali Pednekar, Alvaro Garrido, Pieter Simoens, Yara Khaluf,
• Abstract要約: 時間的時間的タスクを実行する深層強化学習(DRL)エージェントの時間的処理について検討する。 体内状態の分析により、生物学的システムにおけるユビキタスパターンである神経活性化が明らかになった。 エージェントの時間維持戦略とストリアタルビート周波数(SBF)モデルとの並列性を持つ。
• 参考スコア（独自算出の注目度）: 4.398170461093707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Drawing parallels between Deep Artificial Neural Networks (DNNs) and biological systems can aid in understanding complex biological mechanisms that are difficult to disentangle. Temporal processing, an extensively researched topic, is one such example that lacks a coherent understanding of its underlying mechanisms. In this study, we investigate temporal processing in a Deep Reinforcement Learning (DRL) agent performing an interval timing task and explore potential biological counterparts to its emergent behavior. The agent was successfully trained to perform a duration production task, which involved marking successive occurrences of a target interval while viewing a video sequence. Analysis of the agent's internal states revealed oscillatory neural activations, a ubiquitous pattern in biological systems. Interestingly, the agent's actions were predominantly influenced by neurons exhibiting these oscillations with high amplitudes and frequencies corresponding to the target interval. Parallels are drawn between the agent's time-keeping strategy and the Striatal Beat Frequency (SBF) model, a biologically plausible model of interval timing. Furthermore, the agent maintained its oscillatory representations and task performance when tested on different video sequences (including a blank video). Thus, once learned, the agent internalized its time-keeping mechanism and showed minimal reliance on its environment to perform the timing task. A hypothesis about the resemblance between this emergent behavior and certain aspects of the evolution of biological processes like circadian rhythms, has been discussed. This study aims to contribute to recent research efforts of utilizing DNNs to understand biological systems, with a particular emphasis on temporal processing.
• Abstract（参考訳）: ディープ・ニューラル・ニューラルネットワーク(DNN)と生物学的システムの間の平行な描画は、絡みにくい複雑な生物学的メカニズムを理解するのに役立ちます。 時間的処理は、広範囲に研究され、その基盤となるメカニズムの一貫性が欠如している例である。 本研究では,時間的時間的タスクを行う深層強化学習(DRL)エージェントの時間的処理について検討し,その創発的行動に対する潜在的な生物学的な対応について検討する。 このエージェントは、ビデオシーケンスを視聴しながら、目標間隔の連続的な発生をマークすることを含む、持続的生産タスクを実行するために、うまく訓練された。 体内状態の分析により、生体系のユビキタスパターンである発振性神経活性化が明らかになった。 興味深いことに、エージェントの動作は、高い振幅とターゲット間隔に対応する周波数の振動を示すニューロンに主に影響された。 エージェントの時間維持戦略とストリアタルビート周波数(Striatal Beat Frequency, SBF)モデルの間には, 生物学的に妥当な間隔時間モデルであるパラレルが描かれる。 さらに、そのエージェントは、異なるビデオシーケンス(空白ビデオを含む)でテストする際に、その振動表現とタスク性能を維持した。 そこで, エージェントは時間維持機構を内部化し, タイミングタスクを実行するための環境への依存度を最小限に抑えた。 この創発的行動と概日リズムのような生物学的プロセスの進化の特定の側面との類似性に関する仮説が議論されている。 本研究は、生物学的システムを理解するためにDNNを活用する最近の研究に貢献することを目的としており、特に時間的処理に重点を置いている。

関連論文リスト

• Synchronization and semantization in deep spiking networks [0.9411751957919126]
  近年の研究では、スパイキングネットワークは、誤り訂正塑性によって複雑な機能を学べることが示されているが、結果として生じる構造や力学はいまだに研究されていない。 スパイク時間符号化を用いた視覚入力分類において,視覚階層の概念的類似として多層スパイキングネットワークを訓練する。 学習後, 異なる時間的活動パターンの発達を観察し, 入力パターンは構築によって同期するが, 初期層の活動は時間とともに拡散し, クラスが徐々に抽出されるにつれて, 鋭いパルスに再収束する。 同期性の出現は徐々に異なる経路の形成を伴い、段階的なセマント化を反映する
  論文  参考訳（メタデータ） (2025-08-18T14:51:58Z)
• State Space Models Naturally Produce Traveling Waves, Time Cells, and Scale to Abstract Cognitive Functions [7.097247619177705]
  ディープラーニングアーキテクチャの新しいクラスであるステートスペースモデル(SSM)に基づくフレームワークを提案する。 我々は、このモデルが生物学的な「時間細胞」を著しく模倣する神経表現を自然に発達させることを実証した。 本研究は,SSMを単一ニューロンのダイナミクスと認知現象を結びつける魅力的な枠組みとして位置づけた。
  論文  参考訳（メタデータ） (2025-07-18T03:53:16Z)
• Inferring the time-varying coupling of dynamical systems with temporal convolutional autoencoders [0.0]
  因果推論のためのテンポラルオートエンコーダ(TACI)を紹介する。 TACIは、2つの頭を持つ新しい機械学習アーキテクチャと因果関係を評価するために、新しい代理データメトリクスを組み合わせる。 TACIが様々なシステム間で動的因果相互作用を正確に定量化できることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T12:51:20Z)
• LINOCS: Lookahead Inference of Networked Operators for Continuous Stability [4.508868068781057]
  連続安定のためのネットワーク演算子のルックアヘッド駆動推論(LINOCS)を導入する。 LINOCSはノイズの多い時系列データに隠れた動的相互作用を識別するための頑健な学習手法である。 我々は、LINOCSの合成時系列データに基づく基底真理力学演算子を復元する能力を実証する。
  論文  参考訳（メタデータ） (2024-04-28T18:16:58Z)
• TC-LIF: A Two-Compartment Spiking Neuron Model for Long-Term Sequential Modelling [54.97005925277638]
  潜在的な可能性や危険に関連する感覚的手がかりの同定は、長期間の遅延によって有用な手がかりを分離する無関係な事象によってしばしば複雑になる。 SNN(State-of-the-art spiking Neural Network)は、遠方のキュー間の長期的な時間的依存関係を確立する上で、依然として困難な課題である。 そこで本研究では,T-LIFとよばれる,生物学的にインスパイアされたTwo-compartment Leaky Integrate- and-Fireのスパイキングニューロンモデルを提案する。
  論文  参考訳（メタデータ） (2023-08-25T08:54:41Z)
• Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning [0.0]
  環境の規則性に適応することは、生物が出来事や計画を予測するために重要である。 深部強化学習エージェントにおける概日リズムの出現について検討した。
  論文  参考訳（メタデータ） (2023-07-22T18:47:18Z)
• Long Short-term Memory with Two-Compartment Spiking Neuron [64.02161577259426]
  LSTM-LIFとよばれる,生物学的にインスパイアされたLong Short-Term Memory Leaky Integrate-and-Fireのスパイキングニューロンモデルを提案する。 実験結果は,時間的分類タスクの多種多様な範囲において,優れた時間的分類能力,迅速な訓練収束,ネットワークの一般化性,LSTM-LIFモデルの高エネルギー化を実証した。 したがって、この研究は、新しいニューロモルフィック・コンピューティング・マシンにおいて、困難な時間的処理タスクを解決するための、無数の機会を開放する。
  論文  参考訳（メタデータ） (2023-07-14T08:51:03Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。