論文の概要: Towards biologically plausible Dreaming and Planning

• arxiv url: http://arxiv.org/abs/2205.10044v1
• Date: Fri, 20 May 2022 09:35:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-23 15:34:47.964138
• Title: Towards biologically plausible Dreaming and Planning
• Title（参考訳）: 生物学的に可能な夢と計画に向けて
• Authors: Cristiano Capone and Pier Stanislao Paolucci
• Abstract要約: モデルに基づくシミュレーション環境での新たな経験を生かした「ドレーミング」が学習を著しく促進するニューラルネットワークを提案する。 重要なことは、我々のモデルは経験の詳細な記憶を必要とせず、オンラインの世界モデルを学ぶことである。 私たちの研究は、現実の環境で新しいスキルを学ぶことができる自律ロボットのための効率的なニューロモルフィックシステムを構築するためのステップです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans and animals can learn new skills after practicing for a few hours, while current reinforcement learning algorithms require a large amount of data to achieve good performances. Recent model-based approaches show promising results by reducing the number of necessary interactions with the environment to learn a desirable policy. However, these methods require biological implausible ingredients, such as the detailed storage of older experiences, and long periods of offline learning. The optimal way to learn and exploit word-models is still an open question. Taking inspiration from biology, we suggest that dreaming might be an efficient expedient to use an inner model. We propose a two-module (agent and model) neural network in which "dreaming" (living new experiences in a model-based simulated environment) significantly boosts learning. We also explore "planning", an online alternative to dreaming, that shows comparable performances. Importantly, our model does not require the detailed storage of experiences, and learns online the world-model. This is a key ingredient for biological plausibility and implementability (e.g., in neuromorphic hardware). Our network is composed of spiking neurons, further increasing the energetic efficiency and the plausibility of the model. To our knowledge, there are no previous works proposing biologically plausible model-based reinforcement learning in recurrent spiking networks. Our work is a step toward building efficient neuromorphic systems for autonomous robots, capable of learning new skills in real-world environments. Even when the environment is no longer accessible, the robot optimizes learning by "reasoning" in its own "mind". These approaches are of great relevance when the acquisition from the environment is slow, expensive (robotics) or unsafe (autonomous driving).
• Abstract（参考訳）: 人間と動物は数時間練習した後、新しいスキルを学べる一方、現在の強化学習アルゴリズムは優れたパフォーマンスを達成するために大量のデータを必要とする。 近年のモデルベースアプローチは、望ましい政策を学ぶために必要な環境との相互作用の数を減らすことで有望な結果を示す。 しかし、これらの方法は、古い経験の詳細な保存やオフライン学習など、生物学的に目立たない材料を必要とする。 単語モデルを学び、活用する最適な方法は、まだ未解決の問題だ。 生物学からインスピレーションを得て、私たちは夢は内的モデルを使うのに効果的な方法かもしれないと提案する。 モデルベースシミュレーション環境において新たな経験を積むこと)が学習を著しく促進する2つのモジュール(エージェントとモデル)ニューラルネットワークを提案する。 また、同等のパフォーマンスを示すdreamingのオンライン代替品である"planning"も検討しています。 重要なのは、私たちのモデルは経験の詳細なストレージを必要としないことです。 これは生物学的妥当性と実装性(例えば、ニューロモルフィックハードウェア)の鍵となる要素である。 我々のネットワークはスパイクニューロンで構成されており、エネルギー効率とモデルの妥当性をさらに高めている。 我々の知る限り、リカレントスパイクネットワークにおける生物学的に妥当なモデルに基づく強化学習を提案する以前の研究はない。 私たちの研究は、現実の環境で新しいスキルを学ぶことができる自律ロボットのための効率的なニューロモルフィックシステムを構築するためのステップです。 環境がもはやアクセスできない場合でも、ロボットは自身の“マインド”で“理屈”することで学習を最適化する。 これらのアプローチは、環境からの取得が遅く、コストがかかる(ロボティクス)か、安全でない(自律運転)場合、非常に関連性が高い。

関連論文リスト

• Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
  現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。 本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T06:01:35Z)
• Meta-Learning in Spiking Neural Networks with Reward-Modulated STDP [2.179313476241343]
  本研究では,海馬と前頭前皮質にインスパイアされた生物工学的メタラーニングモデルを提案する。 我々の新しいモデルはスパイクベースのニューロモーフィックデバイスに容易に適用でき、ニューロモーフィックハードウェアにおける高速な学習を可能にする。
  論文  参考訳（メタデータ） (2023-06-07T13:08:46Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Cooperative data-driven modeling [44.99833362998488]
  メカニクスにおけるデータ駆動モデリングは、最近の機械学習の進歩に基づいて急速に進化している。 異なるグループによって作成された新しいデータとモデルが利用可能となり、協調モデリングの可能性が開ける。 人工ニューラルネットワークは、破滅的な忘れ、すなわち、新しいタスクでトレーニングされたときに古いタスクを実行する方法を忘れることに苦しむ。 これは、新しいタスクに既存のモデルを適用することが、誰かによって訓練された前のタスクのパフォーマンスに影響を与えるため、協力を妨げる。
  論文  参考訳（メタデータ） (2022-11-23T14:27:25Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• Learning to learn generative programs with Memoised Wake-Sleep [52.439550543743536]
  本研究では,ニューラルネットワークをシンボル型データ生成プログラムの前提として,推論と先行の両方に使用するニューロシンボリック生成モデルのクラスについて検討する。 そこで本研究では,Wake Sleepを拡張したMemoised Wake-Sleep(MWS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-06T23:51:03Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。