論文の概要: Biological Neurons Compete with Deep Reinforcement Learning in Sample Efficiency in a Simulated Gameworld
- arxiv url: http://arxiv.org/abs/2405.16946v1
- Date: Mon, 27 May 2024 08:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 16:21:29.719554
- Title: Biological Neurons Compete with Deep Reinforcement Learning in Sample Efficiency in a Simulated Gameworld
- Title（参考訳）: シミュレーションゲーム界における深部強化学習と生体ニューロンのサンプル効率
- Authors: Moein Khajehnejad, Forough Habibollahi, Aswin Paul, Adeel Razi, Brett J. Kagan,
- Abstract要約: 我々は,in vitro生物ニューラルネットワークの学習効率と最先端深部強化学習(RL)アルゴリズムを比較し,ゲームポンの簡易シミュレーションを行った。
複数の種類の情報入力でテストしても、生物学的ニューロンは、すべての深層強化学習エージェントよりも学習が速かった。
- 参考スコア（独自算出の注目度）: 2.003941363902692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How do biological systems and machine learning algorithms compare in the number of samples required to show significant improvements in completing a task? We compared the learning efficiency of in vitro biological neural networks to the state-of-the-art deep reinforcement learning (RL) algorithms in a simplified simulation of the game `Pong'. Using DishBrain, a system that embodies in vitro neural networks with in silico computation using a high-density multi-electrode array, we contrasted the learning rate and the performance of these biological systems against time-matched learning from three state-of-the-art deep RL algorithms (i.e., DQN, A2C, and PPO) in the same game environment. This allowed a meaningful comparison between biological neural systems and deep RL. We find that when samples are limited to a real-world time course, even these very simple biological cultures outperformed deep RL algorithms across various game performance characteristics, implying a higher sample efficiency. Ultimately, even when tested across multiple types of information input to assess the impact of higher dimensional data input, biological neurons showcased faster learning than all deep reinforcement learning agents.
- Abstract（参考訳）: 生物学的システムと機械学習アルゴリズムは、タスク完了の大幅な改善を示すために必要なサンプルの数を比較するにはどうすればよいか?
我々は,in vitro生物ニューラルネットワークの学習効率と最先端の深部強化学習(RL)アルゴリズムを比較し,ゲーム「ポン」の簡易シミュレーションを行った。
DishBrainは、高密度のマルチ電極アレイを用いてin vitroニューラルネットワークをシリコ計算で具現化するシステムで、同じゲーム環境における3つの最先端深部RLアルゴリズム(DQN、A2C、PPO)の学習速度と性能を比較検討した。
これにより、生物学的神経系と深部RLとの有意義な比較が可能となった。
サンプルが実世界の時間コースに限られている場合、これらの非常に単純な生物学的文化でさえ、様々なゲーム性能特性の深いRLアルゴリズムよりも優れており、試料効率が高いことが示唆されている。
最終的に、高次元データ入力の影響を評価するために複数の種類の情報入力をテストしても、生物学的ニューロンは、すべての深層強化学習エージェントよりも速く学習することを示した。
関連論文リスト
- Analysis of Generalized Hebbian Learning Algorithm for Neuromorphic Hardware Using Spinnaker [0.0]
本稿では,大規模なニューロモルフィックプラットフォーム,特にSpiNNakerにおける一般化ヘビアンアルゴリズム(GHA)の適用例を示す。
本研究は,生物にインスパイアされた学習アルゴリズムの可能性を示すとともに,分類精度の大幅な向上を示すものである。
論文 参考訳（メタデータ） (2024-11-18T13:53:10Z) - Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。
本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
論文 参考訳（メタデータ） (2024-09-18T06:01:35Z) - Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。
本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文 参考訳（メタデータ） (2024-09-17T04:48:45Z) - Towards Biologically Plausible Computing: A Comprehensive Comparison [24.299920289520013]
バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。
バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
論文 参考訳（メタデータ） (2024-06-23T09:51:20Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Efficient, probabilistic analysis of combinatorial neural codes [0.0]
ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。
これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。
従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
論文 参考訳（メタデータ） (2022-10-19T11:58:26Z) - Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。
学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。
さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文 参考訳（メタデータ） (2021-06-15T05:30:17Z) - Deep Bayesian Active Learning for Accelerating Stochastic Simulation [74.58219903138301]
Interactive Neural Process(INP)は、シミュレーションとアクティブな学習アプローチのためのディープラーニングフレームワークである。
能動的学習のために,NPベースモデルの潜時空間で計算された新しい取得関数Latent Information Gain (LIG)を提案する。
その結果,STNPは学習環境のベースラインを上回り,LIGは能動学習の最先端を達成していることがわかった。
論文 参考訳（メタデータ） (2021-06-05T01:31:51Z) - Predictive Coding Can Do Exact Backpropagation on Any Neural Network [40.51949948934705]
計算グラフ上で直接定義することで(ILと)Z-ILを一般化する。
これは、任意のニューラルネットワーク上のパラメータを更新する方法でBPと同等であることが示されている最初の生物学的に実行可能なアルゴリズムです。
論文 参考訳（メタデータ） (2021-03-08T11:52:51Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。