論文の概要: Continuous Time Continuous Space Homeostatic Reinforcement Learning
(CTCS-HRRL) : Towards Biological Self-Autonomous Agent
- arxiv url: http://arxiv.org/abs/2401.08999v1
- Date: Wed, 17 Jan 2024 06:29:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 16:50:38.799719
- Title: Continuous Time Continuous Space Homeostatic Reinforcement Learning
(CTCS-HRRL) : Towards Biological Self-Autonomous Agent
- Title(参考訳): 連続時間空間ホメオスタティック強化学習(CTCS-HRRL) : 生物自律エージェントを目指して
- Authors: Hugo Laurencon, Yesoda Bhargava, Riddhi Zantye, Charbel-Rapha\"el
S\'egerie, Johann Lussange, Veeky Baths, Boris Gutkin
- Abstract要約: ホメオスタシス(英: Homeostasis)は、生物が内部バランスを維持する過程である。
ホメオスタティック強化学習(HRRL)フレームワークは、この学習されたホメオスタティックな振る舞いを説明する。
本研究では,HRRLフレームワークを連続的な時間空間環境に進化させ,CTCS-HRRLフレームワークの有効性を検証する。
- 参考スコア(独自算出の注目度): 0.12068041242343093
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Homeostasis is a biological process by which living beings maintain their
internal balance. Previous research suggests that homeostasis is a learned
behaviour. Recently introduced Homeostatic Regulated Reinforcement Learning
(HRRL) framework attempts to explain this learned homeostatic behavior by
linking Drive Reduction Theory and Reinforcement Learning. This linkage has
been proven in the discrete time-space, but not in the continuous time-space.
In this work, we advance the HRRL framework to a continuous time-space
environment and validate the CTCS-HRRL (Continuous Time Continuous Space HRRL)
framework. We achieve this by designing a model that mimics the homeostatic
mechanisms in a real-world biological agent. This model uses the
Hamilton-Jacobian Bellman Equation, and function approximation based on neural
networks and Reinforcement Learning. Through a simulation-based experiment we
demonstrate the efficacy of this model and uncover the evidence linked to the
agent's ability to dynamically choose policies that favor homeostasis in a
continuously changing internal-state milieu. Results of our experiments
demonstrate that agent learns homeostatic behaviour in a CTCS environment,
making CTCS-HRRL a promising framework for modellng animal dynamics and
decision-making.
- Abstract(参考訳): ホメオスタシスは生物が内部バランスを維持する生物学的プロセスである。
以前の研究では、ホメオスタシスは学習行動であることが示された。
最近導入されたHRRLフレームワークは、ドライブ削減理論と強化学習をリンクすることで、この学習されたホメオスタティックな振る舞いを説明する。
この結合は離散時間空間では証明されているが、連続時間空間では証明されていない。
本研究では,HRRL フレームワークを連続時間空間環境に進化させ,CTCS-HRRL (Continuous Time Continuous Space HRRL) フレームワークを検証する。
実世界の生物学的エージェントのホメオスタティック機構を模倣するモデルを設計してこれを実現する。
このモデルはハミルトン・ヤコビアンベルマン方程式とニューラルネットワークと強化学習に基づく関数近似を用いる。
シミュレーションに基づく実験により、このモデルの有効性を実証し、連続的に変化する内部状態の緩和において、ホメオスタシスを支持する政策を動的に選択するエージェントの能力に関連する証拠を明らかにする。
実験の結果,CTCS環境下でのホメオスタティックな動作を学習し,CTCS-HRRLを動物動態と意思決定のモデルとして有望な枠組みとした。
関連論文リスト
- Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning [0.0]
環境の規則性に適応することは、生物が出来事や計画を予測するために重要である。
深部強化学習エージェントにおける概日リズムの出現について検討した。
論文 参考訳(メタデータ) (2023-07-22T18:47:18Z) - Real-Time Variational Method for Learning Neural Trajectory and its
Dynamics [7.936841911281107]
本稿では,指数関数型家族変動カルマンフィルタ(eVKF)について紹介する。
我々は、カルマンフィルタの予測ステップに対する閉形式変分類似を導出し、他のオンライン変分法と比較してELBO上の有意な厳密な境界を導出する。
我々は,本手法を実世界の合成・実世界のデータで検証し,特に競争性能が向上したことを示す。
論文 参考訳(メタデータ) (2023-05-18T19:52:46Z) - DriPP: Driven Point Processes to Model Stimuli Induced Patterns in M/EEG
Signals [62.997667081978825]
我々はDriPPと呼ばれる新しい統計点過程モデルを開発する。
我々は、このモデルのパラメータを推定するために、高速で原理化された予測最大化(EM)アルゴリズムを導出する。
標準MEGデータセットの結果から,我々の手法が事象関連ニューラルレスポンスを明らかにすることが示された。
論文 参考訳(メタデータ) (2021-12-08T13:07:21Z) - Continuous Homeostatic Reinforcement Learning for Self-Regulated
Autonomous Agents [0.0]
本研究では,恒常的強化学習理論を空間的・時間的連続環境に拡張することを提案する。
生物に豊富に存在する自己制御機構にインスパイアされ、エージェントの内部状態のダイナミクスのモデルも導入する。
論文 参考訳(メタデータ) (2021-09-14T11:03:58Z) - Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。
能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。
その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
論文 参考訳(メタデータ) (2021-06-05T01:31:51Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳(メタデータ) (2021-04-22T04:01:32Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳(メタデータ) (2021-04-07T01:08:18Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Recurrent Neural Network Learning of Performance and Intrinsic
Population Dynamics from Sparse Neural Data [77.92736596690297]
本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。
提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。
注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
論文 参考訳(メタデータ) (2020-05-05T14:16:54Z) - Embodied Synaptic Plasticity with Online Reinforcement learning [5.6006805285925445]
本稿では,これら2つの分野からオープンソースソフトウェアコンポーネントを統合することにより,計算神経科学とロボティクスの分野を連携させることに寄与する。
本稿では, オンライン強化学習(SPORE)によるシナプス塑性評価の枠組みについて述べる。
論文 参考訳(メタデータ) (2020-03-03T10:29:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。