論文の概要: Thalamocortical motor circuit insights for more robust hierarchical control of complex sequences

• arxiv url: http://arxiv.org/abs/2006.13332v1
• Date: Tue, 23 Jun 2020 21:08:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:24:11.266073
• Title: Thalamocortical motor circuit insights for more robust hierarchical control of complex sequences
• Title（参考訳）: 複雑な配列のよりロバストな階層制御のための視床皮質運動回路インサイト
• Authors: Laureline Logiaco, G. Sean Escola
• Abstract要約: 我々は、再使用可能な「モチーフ」の連結からなる時間列を生成するリカレントニューラルネットワークの学習について研究する。 単一モチーフの学習は成功するが、シーケンス生成は堅牢ではない。 次に,これらの結果と,運動視床皮質回路にインスパイアされた構造と解析的抽出可能な力学のモデルを比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study learning of recurrent neural networks that produce temporal sequences consisting of the concatenation of re-usable "motifs". In the context of neuroscience or robotics, these motifs would be the motor primitives from which complex behavior is generated. Given a known set of motifs, can a new motif be learned without affecting the performance of the known set and then used in new sequences without first explicitly learning every possible transition? Two requirements enable this: (i) parameter updates while learning a new motif do not interfere with the parameters used for the previously acquired ones; and (ii) a new motif can be robustly generated when starting from the network state reached at the end of any of the other motifs, even if that state was not present during training. We meet the first requirement by investigating artificial neural networks (ANNs) with specific architectures, and attempt to meet the second by training them to generate motifs from random initial states. We find that learning of single motifs succeeds but that sequence generation is not robust: transition failures are observed. We then compare these results with a model whose architecture and analytically-tractable dynamics are inspired by the motor thalamocortical circuit, and that includes a specific module used to implement motif transitions. The synaptic weights of this model can be adjusted without requiring stochastic gradient descent (SGD) on the simulated network outputs, and we have asymptotic guarantees that transitions will not fail. Indeed, in simulations, we achieve single-motif accuracy on par with the previously studied ANNs and have improved sequencing robustness with no transition failures. Finally, we show that insights obtained by studying the transition subnetwork of this model can also improve the robustness of transitioning in the traditional ANNs previously studied.
• Abstract（参考訳）: 再利用可能な「モチフス」の結合からなる時間系列を生成するリカレントニューラルネットワークの学習について検討した。 神経科学やロボティクスの文脈では、これらのモチーフは複雑な行動を生み出すモータープリミティブである。 既知のモチーフセットが与えられると、既知のセットのパフォーマンスに影響を与えずに新しいモチーフを学習でき、その後、まずすべての移行を明示的に学習せずに新しいシーケンスで使用できますか? この2つの要件があります (i)新しいモチーフを学習しながらのパラメータ更新は、予め取得したモチーフのパラメータに干渉しない。 (ii)トレーニング中にその状態が存在しない場合でも、ネットワーク状態から他のモチーフの末尾に到達すると、新たなモチーフを頑健に生成することができる。 第1の要件は,特定のアーキテクチャを用いたニューラルネットワーク(anns)の探索と,ランダム初期状態からモチーフを生成するようにトレーニングすることで,第2の要件を満たそうとするものである。 単一モチーフの学習は成功するが、シーケンス生成は堅牢ではなく、トランジッションの失敗が観察される。 次に, モチーフ遷移を実装するための具体的モジュールを具体化し, 構造と解析的引き込み可能なダイナミクスをモータタラモ皮質回路にインスパイアしたモデルと比較する。 このモデルのシナプス重みは、シミュレーションネットワーク出力の確率的勾配降下 (sgd) を必要とせずに調整することができ、遷移が失敗しないことを漸近的に保証する。 実際,シミュレーションでは,先行研究したannと同等の単一motif精度を達成し,遷移故障を伴わずにシークエンシングロバスト性を改善した。 最後に,本モデルにおける遷移サブネットワークの研究から得られた知見は,従来研究されていたANNにおける遷移の堅牢性の向上にも寄与することを示す。

関連論文リスト

• Recurrent networks recognize patterns with low-dimensional oscillations [0.0]
  本研究では、SETカードゲームにインスパイアされた簡単なタスクで訓練されたリカレントニューラルネットワーク(RNN)を解釈することにより、パターン認識のための新しい動的メカニズムを提案する。 我々は、訓練されたRNNを、有限状態オートマトン(FSA)の遷移に類似した方法で、低次元極限サイクルにおける位相シフトによるパターンの認識であると解釈した。
  論文  参考訳（メタデータ） (2023-10-11T21:25:12Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks? [18.92828441607381]
  埋め込みは観察によく適合するが、同時に誤った動的挙動を持つモデルを誘導することを示す。 2つの加法的ベクトル場成分をパラメトリした単純な埋め込み自由な代替法を提案する。
  論文  参考訳（メタデータ） (2023-05-20T12:41:47Z)
• The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
  自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。 本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
  論文  参考訳（メタデータ） (2022-05-29T14:57:33Z)
• The Importance of the Current Input in Sequence Modeling [0.0]
  入力と出力の間に直接接続を加えるという非常に単純なアイデアが、繰り返しモジュールをスキップすることで、予測精度が向上することを示す。 異なる問題に対する実験により、再帰的なネットワークへのこのような接続が常に改善されることが示されている。
  論文  参考訳（メタデータ） (2021-12-22T10:29:20Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Improving Coherence and Consistency in Neural Sequence Models with Dual-System, Neuro-Symbolic Reasoning [49.6928533575956]
  我々は、神経系1と論理系2の間を仲介するために神経推論を用いる。 強靭なストーリー生成とグラウンドド・インストラクション・フォローリングの結果、このアプローチは神経系世代におけるコヒーレンスと精度を高めることができることを示した。
  論文  参考訳（メタデータ） (2021-07-06T17:59:49Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Action-Conditional Recurrent Kalman Networks For Forward and Inverse Dynamics Learning [17.80270555749689]
  ロボットのモデルベース制御において、正確な前方および逆ダイナミクスモデルの推定が重要な要素である。 本稿では,フォワードモデル学習のためのアーキテクチャと,逆モデル学習のためのアーキテクチャを提案する。 どちらのアーキテクチャも、予測性能の点で、既存のモデル学習フレームワークと分析モデルを大きく上回っている。
  論文  参考訳（メタデータ） (2020-10-20T11:28:25Z)
• Automated and Formal Synthesis of Neural Barrier Certificates for Dynamical Models [70.70479436076238]
  バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。 このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。 その結果,音のBCsを最大2桁の速度で合成できることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T07:39:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。