論文の概要: Continuous Time Continuous Space Homeostatic Reinforcement Learning (CTCS-HRRL) : Towards Biological Self-Autonomous Agent

• arxiv url: http://arxiv.org/abs/2401.08999v1
• Date: Wed, 17 Jan 2024 06:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 16:50:38.799719
• Title: Continuous Time Continuous Space Homeostatic Reinforcement Learning (CTCS-HRRL) : Towards Biological Self-Autonomous Agent
• Title（参考訳）: 連続時間空間ホメオスタティック強化学習(CTCS-HRRL) : 生物自律エージェントを目指して
• Authors: Hugo Laurencon, Yesoda Bhargava, Riddhi Zantye, Charbel-Rapha\"el S\'egerie, Johann Lussange, Veeky Baths, Boris Gutkin
• Abstract要約: ホメオスタシス(英: Homeostasis)は、生物が内部バランスを維持する過程である。 ホメオスタティック強化学習(HRRL)フレームワークは、この学習されたホメオスタティックな振る舞いを説明する。 本研究では,HRRLフレームワークを連続的な時間空間環境に進化させ,CTCS-HRRLフレームワークの有効性を検証する。
• 参考スコア（独自算出の注目度）: 0.12068041242343093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Homeostasis is a biological process by which living beings maintain their internal balance. Previous research suggests that homeostasis is a learned behaviour. Recently introduced Homeostatic Regulated Reinforcement Learning (HRRL) framework attempts to explain this learned homeostatic behavior by linking Drive Reduction Theory and Reinforcement Learning. This linkage has been proven in the discrete time-space, but not in the continuous time-space. In this work, we advance the HRRL framework to a continuous time-space environment and validate the CTCS-HRRL (Continuous Time Continuous Space HRRL) framework. We achieve this by designing a model that mimics the homeostatic mechanisms in a real-world biological agent. This model uses the Hamilton-Jacobian Bellman Equation, and function approximation based on neural networks and Reinforcement Learning. Through a simulation-based experiment we demonstrate the efficacy of this model and uncover the evidence linked to the agent's ability to dynamically choose policies that favor homeostasis in a continuously changing internal-state milieu. Results of our experiments demonstrate that agent learns homeostatic behaviour in a CTCS environment, making CTCS-HRRL a promising framework for modellng animal dynamics and decision-making.
• Abstract（参考訳）: ホメオスタシスは生物が内部バランスを維持する生物学的プロセスである。 以前の研究では、ホメオスタシスは学習行動であることが示された。 最近導入されたHRRLフレームワークは、ドライブ削減理論と強化学習をリンクすることで、この学習されたホメオスタティックな振る舞いを説明する。 この結合は離散時間空間では証明されているが、連続時間空間では証明されていない。 本研究では,HRRL フレームワークを連続時間空間環境に進化させ,CTCS-HRRL (Continuous Time Continuous Space HRRL) フレームワークを検証する。 実世界の生物学的エージェントのホメオスタティック機構を模倣するモデルを設計してこれを実現する。 このモデルはハミルトン・ヤコビアンベルマン方程式とニューラルネットワークと強化学習に基づく関数近似を用いる。 シミュレーションに基づく実験により、このモデルの有効性を実証し、連続的に変化する内部状態の緩和において、ホメオスタシスを支持する政策を動的に選択するエージェントの能力に関連する証拠を明らかにする。 実験の結果,CTCS環境下でのホメオスタティックな動作を学習し,CTCS-HRRLを動物動態と意思決定のモデルとして有望な枠組みとした。

関連論文リスト

• A Dynamic Systems Approach to Modelling Human-Machine Rhythm Interaction [4.33608942673382]
  本研究では、リズム処理の基礎となる物理および生物学的プロセスにインスパイアされた計算モデルを紹介する。 本研究は,人間の知覚範囲内でのリズムパターンを正確に知覚し,適応する能力を示すものである。
  論文  参考訳（メタデータ） (2024-06-26T10:07:20Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• Emergence of Adaptive Circadian Rhythms in Deep Reinforcement Learning [0.0]
  環境の規則性に適応することは、生物が出来事や計画を予測するために重要である。 深部強化学習エージェントにおける概日リズムの出現について検討した。
  論文  参考訳（メタデータ） (2023-07-22T18:47:18Z)
• Real-Time Variational Method for Learning Neural Trajectory and its Dynamics [7.936841911281107]
  本稿では,指数関数型家族変動カルマンフィルタ(eVKF)について紹介する。 我々は、カルマンフィルタの予測ステップに対する閉形式変分類似を導出し、他のオンライン変分法と比較してELBO上の有意な厳密な境界を導出する。 我々は,本手法を実世界の合成・実世界のデータで検証し,特に競争性能が向上したことを示す。
  論文  参考訳（メタデータ） (2023-05-18T19:52:46Z)
• DriPP: Driven Point Processes to Model Stimuli Induced Patterns in M/EEG Signals [62.997667081978825]
  我々はDriPPと呼ばれる新しい統計点過程モデルを開発する。 我々は、このモデルのパラメータを推定するために、高速で原理化された予測最大化(EM)アルゴリズムを導出する。 標準MEGデータセットの結果から,我々の手法が事象関連ニューラルレスポンスを明らかにすることが示された。
  論文  参考訳（メタデータ） (2021-12-08T13:07:21Z)
• Continuous Homeostatic Reinforcement Learning for Self-Regulated Autonomous Agents [0.0]
  本研究では,恒常的強化学習理論を空間的・時間的連続環境に拡張することを提案する。 生物に豊富に存在する自己制御機構にインスパイアされ、エージェントの内部状態のダイナミクスのモデルも導入する。
  論文  参考訳（メタデータ） (2021-09-14T11:03:58Z)
• Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
  Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。 能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。 その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
  論文  参考訳（メタデータ） (2021-06-05T01:31:51Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。