論文の概要: Spatial-aware decision-making with ring attractors in reinforcement learning systems

• arxiv url: http://arxiv.org/abs/2410.03119v2
• Date: Fri, 14 Feb 2025 15:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:45:19.861304
• Title: Spatial-aware decision-making with ring attractors in reinforcement learning systems
• Title（参考訳）: 強化学習システムにおけるリングアトラクタを用いた空間認識による意思決定
• Authors: Marcos Negre Saura, Richard Allmendinger, Wei Pan, Theodore Papamarkou,
• Abstract要約: Ring attractorsは、強化学習(RL)における学習速度と精度を改善する生物学的に妥当なメカニズムを提供する アクション選択プロセスにおけるリングアトラクターの応用には、リング上の特定の場所にアクションをマッピングし、神経活動に基づいて選択されたアクションをデコードすることが含まれる。 提案手法は,Atari 100kベンチマークにおける最先端性能を大幅に改善し,選択した最先端ベースライン間で53%の性能向上を実現した。
• 参考スコア（独自算出の注目度）: 3.946653365166642
• License:
• Abstract: This paper explores the integration of ring attractors, a mathematical model inspired by neural circuit dynamics, into the Reinforcement Learning (RL) action selection process. Serving as specialized brain-inspired structures that encode spatial information and uncertainty, ring attractors offer a biologically plausible mechanism to improve learning speed and accuracy in RL. They do so by explicitly encoding the action space, facilitating the organization of neural activity, and enabling the distribution of spatial representations across the neural network in the context of Deep Reinforcement Learning (DRL). For example, preserving the continuity between rotation angles in robotic control or adjacency between tactical moves in game-like environments. The application of ring attractors in the action selection process involves mapping actions to specific locations on the ring and decoding the selected action based on neural activity. We investigate the application of ring attractors by both building an exogenous model and integrating them as part of DRL agents. Our approach significantly improves state-of-the-art performance on the Atari 100k benchmark, achieving a 53\% increase in performance across selected state-of-the-art baselines. Codebase available at https://anonymous.4open.science/r/RA_RL-8026.
• Abstract（参考訳）: 本稿では、ニューラルネットワークのダイナミックスにインスパイアされた数学的モデルであるリングアトラクションの強化学習(RL)行動選択プロセスへの統合について検討する。 空間情報と不確実性をエンコードする脳に触発された特殊な構造として、リングアトラクタは、RLの学習速度と精度を改善する生物学的に妥当なメカニズムを提供する。 彼らは、行動空間を明示的に符号化し、神経活動の組織化を促進し、深層強化学習(DRL)のコンテキストにおいて、ニューラルネットワーク全体で空間表現の分散を可能にする。 例えば、ロボット制御における回転角間の連続性や、ゲームのような環境での戦術的動き間の隣接性を保存する。 アクション選択プロセスにおけるリングアトラクターの応用には、リング上の特定の場所にアクションをマッピングし、神経活動に基づいて選択されたアクションをデコードすることが含まれる。 本稿では,外因性モデルの構築とDRL剤の一体化によるリングアトラクションの応用について検討する。 提案手法は, Atari 100kベンチマークにおける最先端性能を大幅に向上させ, 選択した最先端ベースライン間で53倍の性能向上を実現した。 Codebaseはhttps://anonymous.4open.science/r/RA_RL-8026で入手できる。

関連論文リスト

• Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning [1.4542411354617986]
  Intelligent Cyber-Physical Systems (ICPS)は、CPS(Cyber-Physical System)の特殊な形態を表す。 CNNとDeep Reinforcement Learning (DRL)は、知覚、意思決定、制御を含む多面的なタスクを実行する。 DRLは意思決定プロセスにおける効率性、一般化能力、データの不足という観点で、課題に直面している。 本研究では空間時間値意味論に基づく革新的な抽象的モデリング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T02:21:10Z)
• CODEX: A Cluster-Based Method for Explainable Reinforcement Learning [0.0]
  本稿では,状態-作用空間におけるRLエージェントの挙動を効果的に要約できる意味的クラスタリングを取り入れた手法を提案する。 MiniGridとStarCraft IIのゲーム環境での実験では、セマンティッククラスタは時間的およびエンティティ情報を保持する。
  論文  参考訳（メタデータ） (2023-12-07T11:04:37Z)
• A Spiking Binary Neuron -- Detector of Causal Links [0.0]
  因果関係認識は、学習行動、行動計画、外界ダイナミクスの推論を目的としたニューラルネットワークの基本的な操作である。 本研究は、単純なスパイク二元性ニューロンを用いた因果関係認識を実現するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-15T15:34:17Z)
• Active Predicting Coding: Brain-Inspired Reinforcement Learning for Sparse Reward Robotic Control Problems [79.07468367923619]
  ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。 我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。 提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-19T16:49:32Z)
• Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition [19.562218963941227]
  我々は、特定のタスクを扱う専門領域を含む人間の視覚システムからインスピレーションを得た。 我々は、非常に類似したサンプルのサブセットに対してのみ活性化される特別なニューロンからなる新しい動的動的時空間サブセット(DSTS)を設計する。 トレーニング中のモデルの動的決定を最適化し,DSTSモジュールの性能を向上させるために,UpstreamDownstream Learningアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-09-03T13:59:49Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。