論文の概要: Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2307.12143v1
- Date: Sat, 22 Jul 2023 18:47:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 17:48:55.027368
- Title: Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning
- Title(参考訳): 深層強化学習における適応型概日リズムの創発
- Authors: Aqeel Labash, Florian Fletzer, Daniel Majoral, Raul Vicente
- Abstract要約: 環境の規則性に適応することは、生物が出来事や計画を予測するために重要である。
深部強化学習エージェントにおける概日リズムの出現について検討した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Adapting to regularities of the environment is critical for biological
organisms to anticipate events and plan. A prominent example is the circadian
rhythm corresponding to the internalization by organisms of the $24$-hour
period of the Earth's rotation. In this work, we study the emergence of
circadian-like rhythms in deep reinforcement learning agents. In particular, we
deployed agents in an environment with a reliable periodic variation while
solving a foraging task. We systematically characterize the agent's behavior
during learning and demonstrate the emergence of a rhythm that is endogenous
and entrainable. Interestingly, the internal rhythm adapts to shifts in the
phase of the environmental signal without any re-training. Furthermore, we show
via bifurcation and phase response curve analyses how artificial neurons
develop dynamics to support the internalization of the environmental rhythm.
From a dynamical systems view, we demonstrate that the adaptation proceeds by
the emergence of a stable periodic orbit in the neuron dynamics with a phase
response that allows an optimal phase synchronisation between the agent's
dynamics and the environmental rhythm.
- Abstract(参考訳): 環境の規則性に適応することは、生物が出来事や計画を予測するために重要である。
顕著な例は、地球の自転の24ドルの時間帯の生物による内部化に対応する概日リズムである。
本研究では,深層強化学習エージェントにおける概日リズムの出現について検討する。
特に,飼料処理を解決しながら,信頼できる周期変動のある環境にエージェントを配置した。
学習中のエージェントの行動を体系的に特徴付け,内在的かつ訓練可能なリズムの出現を実証する。
興味深いことに、内部リズムは、再訓練せずに環境信号の位相の変化に適応する。
さらに,バイファーカレーションと位相応答曲線を用いて,人工ニューロンが環境リズムの内部化を支援するためにどのようにダイナミクスを発達させるかを解析した。
動的システムの観点から、適応は、エージェントのダイナミクスと環境リズムの最適な位相同期を可能にする位相応答を用いて、ニューロン力学における安定周期軌道の出現によって進行することを示す。
関連論文リスト
- Stochastic action for the entanglement of a noisy monitored two-qubit
system [55.2480439325792]
局所的な一意雑音が局所的なモニタリングおよび量子間カップリングを受ける2ビット系の絡み合い進化に及ぼす影響について検討した。
チャンタスリ・ドルッセル・ヨルダン経路積分に雑音を組み込んでハミルトニアンを構築し、それを最適絡み合い力学の同定に利用する。
長時間定常エンタングルメントの数値解析により,コンカレンスと雑音強度の非単調な関係が明らかとなった。
論文 参考訳(メタデータ) (2024-03-13T11:14:10Z) - Continuous Time Continuous Space Homeostatic Reinforcement Learning
(CTCS-HRRL) : Towards Biological Self-Autonomous Agent [0.12068041242343093]
ホメオスタシス(英: Homeostasis)は、生物が内部バランスを維持する過程である。
ホメオスタティック強化学習(HRRL)フレームワークは、この学習されたホメオスタティックな振る舞いを説明する。
本研究では,HRRLフレームワークを連続的な時間空間環境に進化させ,CTCS-HRRLフレームワークの有効性を検証する。
論文 参考訳(メタデータ) (2024-01-17T06:29:34Z) - Persistent learning signals and working memory without continuous
attractors [6.135577623169029]
準周期的アトラクタは、任意に長い時間的関係の学習を支援することができることを示す。
我々の理論は、人工知能システムの設計に幅広い意味を持っている。
論文 参考訳(メタデータ) (2023-08-24T06:12:41Z) - Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of
Spiking Neural Systems [73.18020682258606]
我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。
コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。
いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
論文 参考訳(メタデータ) (2023-03-30T02:40:28Z) - Limits of Entrainment of Circadian Neuronal Networks [0.0]
概日リズムは哺乳類の様々な重要な生理的・行動的過程の中心にある。
本研究では,周波数・義務周期の異なる外部光信号に対する概日同期の限界を決定するために,現代の計算神経科学モデルについて検討する。
論文 参考訳(メタデータ) (2022-08-23T17:57:21Z) - Entanglement and correlations in fast collective neutrino flavor
oscillations [68.8204255655161]
集合ニュートリノ振動は、天体物理学的な設定においてレプトンのフレーバーを輸送する上で重要な役割を担っている。
高速振動を呈する単純多角ジオメトリーにおける平衡外フレーバーのフルダイナミクスについて検討した。
我々はこれらの高速集団モードが同じ動的相転移によって生成されることを示す。
論文 参考訳(メタデータ) (2022-03-05T17:00:06Z) - Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal
Point Processes [8.710154439846816]
エージェントが離散的な事象を特徴とする環境に直面する逐次的意思決定問題を考える。
この問題は、ソーシャルメディア、金融、健康情報学において至るところに存在しているが、強化学習における従来の研究によって研究されることは稀である。
本稿では,エージェントの動作と観察が連続的に発生する非同期離散事象であるモデルに基づく強化学習の枠組みを提案する。
論文 参考訳(メタデータ) (2022-01-29T11:53:40Z) - Continuous Homeostatic Reinforcement Learning for Self-Regulated
Autonomous Agents [0.0]
本研究では,恒常的強化学習理論を空間的・時間的連続環境に拡張することを提案する。
生物に豊富に存在する自己制御機構にインスパイアされ、エージェントの内部状態のダイナミクスのモデルも導入する。
論文 参考訳(メタデータ) (2021-09-14T11:03:58Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - Variational Dynamic for Self-Supervised Exploration in Deep
Reinforcement Learning [64.87110914918101]
本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。
環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。
提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
論文 参考訳(メタデータ) (2020-10-17T09:54:51Z) - Ecological Reinforcement Learning [76.9893572776141]
このような条件下での学習を容易にする環境特性について検討する。
環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-22T17:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。