論文の概要: Emergent behavior and neural dynamics in artificial agents tracking turbulent plumes

• arxiv url: http://arxiv.org/abs/2109.12434v1
• Date: Sat, 25 Sep 2021 20:57:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-30 08:07:29.890993
• Title: Emergent behavior and neural dynamics in artificial agents tracking turbulent plumes
• Title（参考訳）: 乱気流を追跡する人工エージェントの創発的挙動とニューラルダイナミクス
• Authors: Satpreet Harcharan Singh, Floris van Breugel, Rajesh P. N. Rao, Bingni Wen Brunton
• Abstract要約: 我々は、深層強化学習を用いて、リカレントニューラルネットワーク(RNN)エージェントを訓練し、シミュレートされた乱流プラムの源を見つける。 風向の変化を観測する実験的な仮説が提案されている。
• 参考スコア（独自算出の注目度）: 1.8065361710947974
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Tracking a turbulent plume to locate its source is a complex control problem because it requires multi-sensory integration and must be robust to intermittent odors, changing wind direction, and variable plume statistics. This task is routinely performed by flying insects, often over long distances, in pursuit of food or mates. Several aspects of this remarkable behavior have been studied in detail in many experimental studies. Here, we take a complementary in silico approach, using artificial agents trained with reinforcement learning to develop an integrated understanding of the behaviors and neural computations that support plume tracking. Specifically, we use deep reinforcement learning (DRL) to train recurrent neural network (RNN) agents to locate the source of simulated turbulent plumes. Interestingly, the agents' emergent behaviors resemble those of flying insects, and the RNNs learn to represent task-relevant variables, such as head direction and time since last odor encounter. Our analyses suggest an intriguing experimentally testable hypothesis for tracking plumes in changing wind direction -- that agents follow local plume shape rather than the current wind direction. While reflexive short-memory behaviors are sufficient for tracking plumes in constant wind, longer timescales of memory are essential for tracking plumes that switch direction. At the level of neural dynamics, the RNNs' population activity is low-dimensional and organized into distinct dynamical structures, with some correspondence to behavioral modules. Our in silico approach provides key intuitions for turbulent plume tracking strategies and motivates future targeted experimental and theoretical developments.
• Abstract（参考訳）: 乱流プルームを追跡してその源を見つけることは複雑な制御問題であり、それは複数のセンサーの統合が必要であり、間欠的な臭気、風向きの変化、可変プルーム統計に頑健でなければならない。 この作業は、しばしば長距離を飛ぶ昆虫が食べ物や仲間を追いかけるために定期的に行われる。 この顕著な行動のいくつかの側面は、多くの実験研究で詳細に研究されている。 ここでは,強化学習で訓練された人工エージェントを用いて,シリコのアプローチを補完し,プルーム追跡を支援する行動と神経計算の統合的理解を実現する。 具体的には、深部強化学習(DRL)を用いて、リカレントニューラルネットワーク(RNN)エージェントを訓練し、模擬乱流プラムの源を見つける。 興味深いことに、エージェントの創発行動は飛ぶ昆虫に似ており、rnnは最後の匂いの遭遇以来の頭部方向や時間といったタスク関連の変数を表現することを学ぶ。 今回の分析は、風向の変化における羽根の追跡に関する興味深い実験可能な仮説を示唆している。 反射性短メモリの挙動は、一定風下での羽根を追跡するのに十分であるが、方向を変える羽根を追跡するには、長い時間スケールの記憶が不可欠である。 神経力学のレベルでは、RNNの集団活動は低次元であり、異なる動的構造に分類され、いくつかの行動モジュールに対応している。 当社のin silicoアプローチは,乱流プルーム追跡戦略の重要な直観を提供し,将来の実験的および理論的発展を動機付ける。

関連論文リスト

• A Neuromorphic Approach to Obstacle Avoidance in Robot Manipulation [16.696524554516294]
  カメラ搭載マニピュレータにおける障害物回避のためのニューロモルフィックアプローチを開発する。 提案手法は, 畳み込みSNNでエミュレートされたイベントデータを処理し, 反応操作による高次軌道計画に適応する。 本研究は,SNN学習の導入,ニューロモルフィックプロセッサの利用,およびニューロモルフィック手法の可能性を探るものである。
  論文  参考訳（メタデータ） (2024-04-08T20:42:10Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)
• Investigating Navigation Strategies in the Morris Water Maze through Deep Reinforcement Learning [4.408196554639971]
  本研究では,モリス水迷路を2次元で模擬し,深層強化学習エージェントの訓練を行う。 我々は、ナビゲーション戦略の自動分類を行い、人工エージェントが使用する戦略の分布を分析し、実験データと比較し、人間やげっ歯類と同様の学習力学を示す。
  論文  参考訳（メタデータ） (2023-06-01T18:16:16Z)
• From Data-Fitting to Discovery: Interpreting the Neural Dynamics of Motor Control through Reinforcement Learning [3.6159844753873087]
  足の移動を行う仮想ロボットの構造的神経活動について検討した。 歩行訓練されたエンボディードエージェントは、タングリングを避けるスムーズなダイナミックスを示す。
  論文  参考訳（メタデータ） (2023-05-18T16:52:27Z)
• Generative Adversarial Neuroevolution for Control Behaviour Imitation [3.04585143845864]
  本稿では,一般的なシミュレーション環境における行動模倣にディープ・ニューロエボリューションが有効かどうかを考察する。 我々は、単純な共進化的逆数生成フレームワークを導入し、標準の深い再帰ネットワークを進化させることにより、その能力を評価する。 全てのタスクにおいて、事前訓練されたエージェントが獲得したものよりも高いスコアを達成できる最後のエリートアクターが見つかる。
  論文  参考訳（メタデータ） (2023-04-03T16:33:22Z)
• Learning Complex Spatial Behaviours in ABM: An Experimental Observational Study [0.0]
  本稿では,創発的エージェント行動の生成にReinforcement Learningを適用する方法について検討する。 一連のシミュレーションを行ない, エージェントが実世界の知的適応行動の特性を示す方法として, プロクサマルポリシー最適化アルゴリズムを用いて訓練されたことを実証した。
  論文  参考訳（メタデータ） (2022-01-04T11:56:11Z)
• Backprop-Free Reinforcement Learning with Active Neural Generative Coding [84.11376568625353]
  動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。 我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。 我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-10T19:02:27Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment [57.91534223695695]
  我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。 提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
  論文  参考訳（メタデータ） (2021-02-25T02:13:52Z)
• Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
  我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。 人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
  論文  参考訳（メタデータ） (2021-02-18T14:53:12Z)
• Tracking Emotions: Intrinsic Motivation Grounded on Multi-Level Prediction Error Dynamics [68.8204255655161]
  目標達成に向けての進捗率と期待率の差が生じると、感情がどのように生じるかについて議論する。 自己生成的・動的目標に向けた行動を生成する本質的なモチベーションアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-07-29T06:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。