論文の概要: On the dynamics of convolutional recurrent neural networks near their critical point

• arxiv url: http://arxiv.org/abs/2405.13854v1
• Date: Wed, 22 May 2024 17:29:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 21:02:51.487669
• Title: On the dynamics of convolutional recurrent neural networks near their critical point
• Title（参考訳）: 畳み込みリカレントニューラルネットワークの臨界点近傍におけるダイナミクスについて
• Authors: Aditi Chandra, Marcelo O. Magnasco,
• Abstract要約: 本研究では,スムーズなシグモダルアクティベーション関数を持つ単一層畳み込みリカレントネットワークの動的特性について検討した。 ネットワークが単一振動で強制されるときの定常状態に対する解析解を提案する。 この背景値の関数として時間減衰と空間伝搬長の値を形成する関係を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the dynamical properties of a single-layer convolutional recurrent network with a smooth sigmoidal activation function, for small values of the inputs and when the convolution kernel is unitary, so all eigenvalues lie exactly at the unit circle. Such networks have a variety of hallmark properties: the outputs depend on the inputs via compressive nonlinearities such as cubic roots, and both the timescales of relaxation and the length-scales of signal propagation depend sensitively on the inputs as power laws, both diverging as the input to 0. The basic dynamical mechanism is that inputs to the network generate ongoing activity, which in turn controls how additional inputs or signals propagate spatially or attenuate in time. We present analytical solutions for the steady states when the network is forced with a single oscillation and when a background value creates a steady state of ongoing activity, and derive the relationships shaping the value of the temporal decay and spatial propagation length as a function of this background value.
• Abstract（参考訳）: 入力の小さな値と畳み込みカーネルがユニタリである場合、スムーズなシグモダル活性化関数を持つ単一層畳み込み再帰ネットワークの動的特性について検討する。 出力は立方根のような圧縮非線形性による入力に依存し、緩和の時間スケールと信号伝搬の時間スケールは、入力が0に発散するのに対して、入力に敏感に依存する。 基本的な力学のメカニズムは、ネットワークへの入力が進行中のアクティビティを発生させ、それによって追加の入力や信号が空間的に伝播するか、時間とともに減衰するかを制御することである。 本研究では,ネットワークが単一発振で強制され,背景値が進行する活動の定常状態を生成する場合の定常状態に対する解析解を示し,その背景値の関数として時間減衰と空間伝播長の値を形成する関係を導出する。

関連論文リスト

• Input-driven circuit reconfiguration in critical recurrent neural networks.Marcelo O. Magnasco [0.0]
  入力のみを用いて経路を「オンフライ」に再構成できる,非常に単純な単一層再帰ネットワークを提案する。 このネットワークは、信号の伝搬を各領域に沿ってのみ評価することで、古典的な接続性問題を解決する。
  論文  参考訳（メタデータ） (2024-05-23T20:15:23Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Intensity Profile Projection: A Framework for Continuous-Time Representation Learning for Dynamic Networks [50.2033914945157]
  本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。 このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。 さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
  論文  参考訳（メタデータ） (2023-06-09T15:38:25Z)
• Input correlations impede suppression of chaos and learning in balanced rate networks [58.720142291102135]
  ニューラルネットワークにおける情報符号化と学習は、時間変化による刺激が自発的なネットワーク活動を制御することができるかに依存する。 平衡状態の焼成速度ネットワークでは、リカレントダイナミクスの外部制御は入力の相関に強く依存することを示す。
  論文  参考訳（メタデータ） (2022-01-24T19:20:49Z)
• Relational Self-Attention: What's Missing in Attention for Video Understanding [52.38780998425556]
  リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:36:11Z)
• Periodic Activation Functions Induce Stationarity [19.689175123261613]
  本研究では,ベイズニューラルネットワークにおける周期的活性化関数が,ネットワーク重みと翻訳不変な定常ガウス過程とを関連づけていることを示す。 一連の実験において、周期的アクティベーション関数はドメイン内のデータに匹敵する性能を示し、ドメイン外検出のための深層ニューラルネットワークにおける摂動入力に対する感度を捉える。
  論文  参考訳（メタデータ） (2021-10-26T11:10:37Z)
• Residual networks classify inputs based on their neural transient dynamics [0.0]
  我々は各入力次元に対応する残差間の協調と競合のダイナミクスがあることを解析的に示す。 残差がアトラクタ状態に収束しない場合、その内部ダイナミクスは各入力クラスで分離可能であり、ネットワークは確実に出力を近似することができる。
  論文  参考訳（メタデータ） (2021-01-08T13:54:37Z)
• Feedback-induced instabilities and dynamics in the Jaynes-Cummings model [62.997667081978825]
  時間遅延コヒーレントフィードバックを受けるJaynes-Cummingsモデルのコヒーレンスと定常状態特性について検討する。 導入されたフィードバックは、システムの動的応答と定常量子特性を質的に修正する。
  論文  参考訳（メタデータ） (2020-06-20T10:07:01Z)
• Stability of Internal States in Recurrent Neural Networks Trained on Regular Languages [0.0]
  正規言語認識のためのニューラルネットワークの安定性について検討する。 この飽和状態において、ネットワークアクティベーションの分析は、有限状態機械における離散状態に似た一連のクラスターを示す。 入力シンボルに対応する状態間の遷移は決定論的かつ安定であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:50:15Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。