論文の概要: Coprocessor Actor Critic: A Model-Based Reinforcement Learning Approach For Adaptive Brain Stimulation
- arxiv url: http://arxiv.org/abs/2406.06714v2
- Date: Mon, 07 Oct 2024 21:07:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:28:55.987294
- Title: Coprocessor Actor Critic: A Model-Based Reinforcement Learning Approach For Adaptive Brain Stimulation
- Title(参考訳): コプロセッサアクター批判:適応的脳刺激のためのモデルに基づく強化学習アプローチ
- Authors: Michelle Pan, Mariah Schrum, Vivek Myers, Erdem Bıyık, Anca Dragan,
- Abstract要約: Coprocessor Actor Criticは、脳刺激のためのニューラルコプロセッサポリシーを学ぶための、新しいモデルベース強化学習(MBRL)アプローチである。
提案手法は,従来のMFRL手法の限界を,サンプル効率とタスク成功の観点から克服することを示す。
- 参考スコア(独自算出の注目度): 5.734832905595746
- License:
- Abstract: Adaptive brain stimulation can treat neurological conditions such as Parkinson's disease and post-stroke motor deficits by influencing abnormal neural activity. Because of patient heterogeneity, each patient requires a unique stimulation policy to achieve optimal neural responses. Model-free reinforcement learning (MFRL) holds promise in learning effective policies for a variety of similar control tasks, but is limited in domains like brain stimulation by a need for numerous costly environment interactions. In this work we introduce Coprocessor Actor Critic, a novel, model-based reinforcement learning (MBRL) approach for learning neural coprocessor policies for brain stimulation. Our key insight is that coprocessor policy learning is a combination of learning how to act optimally in the world and learning how to induce optimal actions in the world through stimulation of an injured brain. We show that our approach overcomes the limitations of traditional MFRL methods in terms of sample efficiency and task success and outperforms baseline MBRL approaches in a neurologically realistic model of an injured brain.
- Abstract(参考訳): 適応的な脳刺激は、パーキンソン病やストローク後の運動障害などの神経疾患を、異常な神経活動に影響を与えることによって治療することができる。
患者の不均一性のため、各患者は最適な神経反応を達成するために独自の刺激ポリシーを必要とする。
モデルフリー強化学習(MFRL)は、様々な類似した制御タスクの効果的なポリシーを学ぶことを約束するが、多くのコストのかかる環境相互作用の必要性により、脳刺激のような領域で制限される。
本稿では,脳刺激のためのニューラルコプロセッサポリシーを学習するための,新しいモデルベース強化学習(MBRL)アプローチであるCoprocessor Actor Criticを紹介する。
私たちの重要な洞察は、コプロセッサのポリシー学習は、世界において最適な行動の仕方を学ぶことと、負傷した脳の刺激を通じて世界の最適な行動の仕方を学ぶことの組み合わせであるということです。
我々は,従来のMFRL手法の限界を,標本効率とタスク成功の観点から克服し,神経学的に現実的な損傷脳モデルにおいてベースラインMBRLアプローチより優れていることを示す。
関連論文リスト
- Enhancing learning in artificial neural networks through cellular heterogeneity and neuromodulatory signaling [52.06722364186432]
人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。
提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。
提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
論文 参考訳(メタデータ) (2024-07-05T14:11:28Z) - A Differentiable Approach to Multi-scale Brain Modeling [3.5874544981360987]
本稿では,脳シミュレータBrainPyを用いたマルチスケール微分脳モデリングワークフローを提案する。
単一ニューロンレベルでは、微分可能なニューロンモデルを実装し、電気生理学的データへの適合を最適化するために勾配法を用いる。
ネットワークレベルでは、生物学的に制約されたネットワークモデルを構築するためにコネクトロミックデータを組み込む。
論文 参考訳(メタデータ) (2024-06-28T07:41:31Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Control of synaptic plasticity via the fusion of reinforcement learning
and unsupervised learning in neural networks [0.0]
認知神経科学では、シナプスの可塑性が我々の驚くべき学習能力に不可欠な役割を担っていると広く受け入れられている。
このインスピレーションにより、強化学習と教師なし学習の融合により、新しい学習規則が提案される。
提案した計算モデルでは,非線形最適制御理論を誤差フィードバックループ系に類似させる。
論文 参考訳(メタデータ) (2023-03-26T12:18:03Z) - Neural Co-Processors for Restoring Brain Function: Results from a
Cortical Model of Grasping [0.0]
ニューラルネットワークとディープラーニングを用いて最適なクローズドループ刺激ポリシーを学習する「ニューラルコプロセッサ」を提案する。
コプロセッサは、生体回路自体が刺激に適応するにつれて刺激ポリシーに適応し、脳-デバイス共適応の一形態を達成する。
論文 参考訳(メタデータ) (2022-10-19T04:13:33Z) - Multimodal foundation models are better simulators of the human brain [65.10501322822881]
1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。
視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
論文 参考訳(メタデータ) (2022-08-17T12:36:26Z) - Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps [75.84770193489639]
音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
論文 参考訳(メタデータ) (2022-07-07T15:37:17Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z) - Towards sample-efficient episodic control with DAC-ML [0.5735035463793007]
人工知能におけるサンプル効率問題は、少数のエピソードでアクションポリシーを最適化する現在のDeep Reinforcement Learningモデルが存在しないことを指す。
近年の研究では、学習速度を改善するためにメモリシステムとアーキテクチャバイアスを追加することで、この制限を克服しようと試みている。
本稿では、心と脳の分散適応制御(DAC)理論の設計原理を利用して、新しい認知アーキテクチャを構築する。
論文 参考訳(メタデータ) (2020-12-26T16:38:08Z) - Brain-inspired global-local learning incorporated with neuromorphic
computing [35.70151531581922]
我々は,脳に触発されたメタラーニングパラダイムと,神経力学とシナプス可塑性を取り入れた識別可能なスパイキングモデルを導入することで,ニューロモルフィックハイブリッド学習モデルを報告した。
ニューロモルフィック・ビジョン・センサにおける数ショット学習、連続学習、フォールトトレランス学習を含む複数のタスクにおいて、このモデルの利点を実証する。
論文 参考訳(メタデータ) (2020-06-05T04:24:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。