論文の概要: Theory of gating in recurrent neural networks

• arxiv url: http://arxiv.org/abs/2007.14823v5
• Date: Wed, 1 Dec 2021 17:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-05 21:07:47.605827
• Title: Theory of gating in recurrent neural networks
• Title（参考訳）: リカレントニューラルネットワークにおけるゲーティングの理論
• Authors: Kamesh Krishnamurthy, Tankut Can and David J. Schwab
• Abstract要約: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。 ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。 ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
• 参考スコア（独自算出の注目度）: 5.672132510411465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recurrent neural networks (RNNs) are powerful dynamical models, widely used in machine learning (ML) and neuroscience. Prior theoretical work has focused on RNNs with additive interactions. However, gating - i.e. multiplicative - interactions are ubiquitous in real neurons and also the central feature of the best-performing RNNs in ML. Here, we show that gating offers flexible control of two salient features of the collective dynamics: i) timescales and ii) dimensionality. The gate controlling timescales leads to a novel, marginally stable state, where the network functions as a flexible integrator. Unlike previous approaches, gating permits this important function without parameter fine-tuning or special symmetries. Gates also provide a flexible, context-dependent mechanism to reset the memory trace, thus complementing the memory function. The gate modulating the dimensionality can induce a novel, discontinuous chaotic transition, where inputs push a stable system to strong chaotic activity, in contrast to the typically stabilizing effect of inputs. At this transition, unlike additive RNNs, the proliferation of critical points (topological complexity) is decoupled from the appearance of chaotic dynamics (dynamical complexity). The rich dynamics are summarized in phase diagrams, thus providing a map for principled parameter initialization choices to ML practitioners.
• Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。 以前の理論的研究は加法相互作用を持つRNNに焦点を当てていた。 しかし、ゲーティング、すなわち乗法的相互作用は実際のニューロンにおいてユビキタスであり、MLにおいて最高のパフォーマンスを持つRNNの中心的な特徴でもある。 ここで、ゲーティングは集団ダイナミクスの2つの顕著な特徴を柔軟に制御できることを示します。 一 タイムスケール及び ii)次元性。 ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。 従来のアプローチとは異なり、ゲーティングはパラメータの微調整や特別な対称性なしでこの重要な関数を許す。 ゲートはまた、メモリトレースをリセットするフレキシブルでコンテキスト依存のメカニズムを提供し、メモリ機能を補完する。 次元を変調するゲートは、入力の典型的な安定化効果とは対照的に、安定した系を強いカオス活性にプッシュする、新しい不連続なカオス遷移を誘導することができる。 この遷移において、加法的なrnnとは異なり、臨界点(トポロジカル複雑性)の増殖はカオス力学(動的複雑性)の出現から切り離される。 リッチダイナミクスはフェーズ図にまとめられており、ml実践者に原則付きパラメータ初期化選択のマップを提供する。

関連論文リスト

• Sparse identification of quasipotentials via a combined data-driven method [4.599618895656792]
  我々は、ニューラルネットワークとスパース回帰アルゴリズムという2つのデータ駆動手法を組み合わせて機械学習を活用し、擬ポテンシャル関数の記号表現を得る。 提案手法は, 未知の正準ポテンシャルモデルと, ナノメカニカル共振器のダイナミックスに対して, 擬似準ポテンシャル方程式を求めるものである。
  論文  参考訳（メタデータ） (2024-07-06T11:27:52Z)
• Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
  スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。 ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
  論文  参考訳（メタデータ） (2024-06-08T06:40:00Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• Complex Recurrent Spectral Network [1.0499611180329806]
  本稿では,複雑なリカレントスペクトルネットワーク(conplex Recurrent Spectral Network)(mathbbC$-RSN)の開発を通じて,人工知能(AI)を進化させる新しいアプローチを提案する。 $mathbbC$-RSNは、既存のニューラルネットワークモデルにおいて、生物学的ニューラルネットワークの複雑なプロセスをエミュレートできないという限界に対処するように設計されている。
  論文  参考訳（メタデータ） (2023-12-12T14:14:40Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Equivariant Graph Mechanics Networks with Constraints [83.38709956935095]
  本稿では,グラフ力学ネットワーク(GMN)を提案する。 GMNは、一般化された座標により、構造体の前方運動学情報(位置と速度)を表す。 大規模な実験は、予測精度、制約満足度、データ効率の観点から、最先端のGNNと比較してGMNの利点を支持する。
  論文  参考訳（メタデータ） (2022-03-12T14:22:14Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。