論文の概要: Deep reinforcement learning with time-scale invariant memory

• arxiv url: http://arxiv.org/abs/2412.15292v1
• Date: Thu, 19 Dec 2024 07:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:40.882509
• Title: Deep reinforcement learning with time-scale invariant memory
• Title（参考訳）: 時間スケール不変メモリを用いた深部強化学習
• Authors: Md Rysul Kabir, James Mochizuki-Freeman, Zoran Tiganj,
• Abstract要約: 我々は、スケール不変メモリの計算神経科学モデルを深部強化学習(RL)エージェントに統合する。 このようなエージェントは、広範囲の時間スケールで頑健に学習できることを示す。 この結果は、神経科学と認知科学の計算原理をディープニューラルネットワークに組み込むことで、複雑な時間力学への適応性を高めることを示唆している。
• 参考スコア（独自算出の注目度）: 1.338174941551702
• License:
• Abstract: The ability to estimate temporal relationships is critical for both animals and artificial agents. Cognitive science and neuroscience provide remarkable insights into behavioral and neural aspects of temporal credit assignment. In particular, scale invariance of learning dynamics, observed in behavior and supported by neural data, is one of the key principles that governs animal perception: proportional rescaling of temporal relationships does not alter the overall learning efficiency. Here we integrate a computational neuroscience model of scale invariant memory into deep reinforcement learning (RL) agents. We first provide a theoretical analysis and then demonstrate through experiments that such agents can learn robustly across a wide range of temporal scales, unlike agents built with commonly used recurrent memory architectures such as LSTM. This result illustrates that incorporating computational principles from neuroscience and cognitive science into deep neural networks can enhance adaptability to complex temporal dynamics, mirroring some of the core properties of human learning.
• Abstract（参考訳）: 時間的関係を推定する能力は、動物と人工エージェントの両方にとって重要である。 認知科学と神経科学は、時間的信用割り当ての行動的側面と神経的側面に関する顕著な洞察を提供する。 特に、行動において観察され、神経データによって支えられる学習力学のスケール不変性は、動物の知覚を支配する重要な原則の1つである:時間的関係の比例的再スケーリングは、全体的な学習効率を変化させるものではない。 ここでは、スケール不変メモリの計算神経科学モデルを深部強化学習(RL)エージェントに統合する。 我々はまず理論解析を行い、LSTMのようなよく使われるリカレントメモリアーキテクチャで構築されたエージェントとは異なり、このようなエージェントが広範囲の時間スケールで堅牢に学習できることを示す。 この結果は、神経科学と認知科学の計算原理を深層ニューラルネットワークに組み込むことで、複雑な時間力学への適応性を高め、人間の学習のコアとなる性質を反映していることを示している。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural timescales from a computational perspective [5.390514665166601]
  神経活動の時間スケールは、脳領域内および脳領域で多様であり、実験的観察により、神経活動の時間スケールが動的環境の情報反映を示唆している。 ここでは、相補的な視点を採り、計算手法が幅広い経験的観察を定量的かつ検証可能な理論に抽出できる3つの方向を合成する。
  論文  参考訳（メタデータ） (2024-09-04T13:16:20Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
  そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。 シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。 これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
  論文  参考訳（メタデータ） (2023-04-06T21:11:04Z)
• Modeling cognitive load as a self-supervised brain rate with electroencephalography and deep learning [2.741266294612776]
  本研究では,脳波データからメンタルワークロードをモデリングするための,新たな自己教師型手法を提案する。 脳波データからスペクトル地形図を空間的に保存して脳速度変数に適合させることができる畳み込みリカレントニューラルネットワークである。 学習した認知活性化の準安定なブロックの存在は、それらは畳み込みによって誘導され、時間とともに互いに依存していないように見えるため、脳反応の非定常的性質と直感的に一致している。
  論文  参考訳（メタデータ） (2022-09-21T07:44:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Neuromorphic Algorithm-hardware Codesign for Temporal Pattern Learning [11.781094547718595]
  複雑な空間時間パターンを学習するためにSNNを訓練できるLeaky IntegrateとFireニューロンの効率的なトレーニングアルゴリズムを導出する。 我々は,ニューロンとシナプスのメムリスタに基づくネットワークのためのCMOS回路実装を開発した。
  論文  参考訳（メタデータ） (2021-04-21T18:23:31Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。