論文の概要: Spatial-aware decision-making with ring attractors in reinforcement learning systems

• arxiv url: http://arxiv.org/abs/2410.03119v1
• Date: Fri, 4 Oct 2024 03:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 03:46:34.523287
• Title: Spatial-aware decision-making with ring attractors in reinforcement learning systems
• Title（参考訳）: 強化学習システムにおけるリングアトラクタを用いた空間認識による意思決定
• Authors: Marcos Negre Saura, Richard Allmendinger, Theodore Papamarkou, Wei Pan,
• Abstract要約: リング誘引器は、学習速度と予測性能を改善する生物学的に妥当なメカニズムを提供する。 RL作用選択過程における環誘引子の応用は、環上の特定の位置への作用のマッピングを含む。 その結果, Atari 100kベンチマークの最先端モデルでは, 大幅な改善が見られた。
• 参考スコア（独自算出の注目度）: 3.946653365166641
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper explores the integration of ring attractors, a mathematical model inspired by neural circuit dynamics, into the reinforcement learning (RL) action selection process. Ring attractors, as specialized brain-inspired structures that encode spatial information and uncertainty, offer a biologically plausible mechanism to improve learning speed and predictive performance. They do so by explicitly encoding the action space, facilitating the organization of neural activity, and enabling the distribution of spatial representations across the neural network in the context of deep RL. The application of ring attractors in the RL action selection process involves mapping actions to specific locations on the ring and decoding the selected action based on neural activity. We investigate the application of ring attractors by both building them as exogenous models and integrating them as part of a Deep Learning policy algorithm. Our results show a significant improvement in state-of-the-art models for the Atari 100k benchmark. Notably, our integrated approach improves the performance of state-of-the-art models by half, representing a 53\% increase over selected baselines.
• Abstract（参考訳）: 本稿では、ニューラルネットワークのダイナミックスにインスパイアされた数学的モデルであるリングアトラクションの強化学習(RL)行動選択プロセスへの統合について検討する。 リングアトラクタは、空間情報と不確実性をエンコードする特別な脳にインスパイアされた構造として、学習速度と予測性能を改善する生物学的に妥当なメカニズムを提供する。 アクション空間を明示的にエンコードし、神経活動の組織化を容易にし、深いRLの文脈でニューラルネットワーク全体にわたって空間表現の分散を可能にする。 RLアクション選択プロセスにおけるリングアトラクターの応用は、リング上の特定の場所にアクションをマッピングし、神経活動に基づいて選択されたアクションをデコードすることを含む。 本研究では,リングアトラクタを外生モデルとして構築し,深層学習ポリシーアルゴリズムの一部として統合することにより,リングアトラクタの適用について検討する。 その結果, Atari 100kベンチマークの最先端モデルでは, 大幅な改善が見られた。 特に、我々の統合されたアプローチは最先端モデルの性能を半分に改善し、選択されたベースラインよりも53\%向上したことを示す。

関連論文リスト

• Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning [1.4542411354617986]
  Intelligent Cyber-Physical Systems (ICPS)は、CPS(Cyber-Physical System)の特殊な形態を表す。 CNNとDeep Reinforcement Learning (DRL)は、知覚、意思決定、制御を含む多面的なタスクを実行する。 DRLは意思決定プロセスにおける効率性、一般化能力、データの不足という観点で、課題に直面している。 本研究では空間時間値意味論に基づく革新的な抽象的モデリング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T02:21:10Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• An automatic selection of optimal recurrent neural network architecture for processes dynamics modelling purposes [0.0]
  この研究には、ニューラルネットワークアーキテクチャ検索専用のアルゴリズムの提案が4つ含まれている。 アルゴリズムは進化的アルゴリズムや勾配降下法のようなよく知られた最適化手法に基づいている。 この研究は、加圧水型原子炉で発生した高速過程の数学的モデルから生成されたデータに基づく、拡張された検証研究を含む。
  論文  参考訳（メタデータ） (2023-09-25T11:06:35Z)
• Sensitivity-Aware Mixed-Precision Quantization and Width Optimization of Deep Neural Networks Through Cluster-Based Tree-Structured Parzen Estimation [4.748931281307333]
  本稿では,個々のニューラルネットワーク層に対して最適なビット幅と層幅を自動的に選択する革新的な探索機構を提案する。 これにより、ディープニューラルネットワークの効率が著しく向上する。
  論文  参考訳（メタデータ） (2023-08-12T00:16:51Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Dynamic Spatio-Temporal Specialization Learning for Fine-Grained Action Recognition [19.562218963941227]
  我々は、特定のタスクを扱う専門領域を含む人間の視覚システムからインスピレーションを得た。 我々は、非常に類似したサンプルのサブセットに対してのみ活性化される特別なニューロンからなる新しい動的動的時空間サブセット(DSTS)を設計する。 トレーニング中のモデルの動的決定を最適化し,DSTSモジュールの性能を向上させるために,UpstreamDownstream Learningアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-09-03T13:59:49Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• Recurrent Neural Network Learning of Performance and Intrinsic Population Dynamics from Sparse Neural Data [77.92736596690297]
  本稿では,RNNの入出力動作だけでなく,内部ネットワークのダイナミクスも学習できる新しいトレーニング戦略を提案する。 提案手法は、RNNを訓練し、生理学的にインスパイアされた神経モデルの内部ダイナミクスと出力信号を同時に再現する。 注目すべきは、トレーニングアルゴリズムがニューロンの小さなサブセットの活性に依存する場合であっても、内部動力学の再現が成功することである。
  論文  参考訳（メタデータ） (2020-05-05T14:16:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。