論文の概要: Towards Critical Branching Mechanism in Recurrent Neural Networks

• arxiv url: http://arxiv.org/abs/2606.10384v1
• Date: Tue, 09 Jun 2026 03:49:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.305974
• Title: Towards Critical Branching Mechanism in Recurrent Neural Networks
• Title（参考訳）: リカレントニューラルネットワークにおける臨界分岐機構の実現に向けて
• Authors: Feixiang Ren, Ling Feng,
• Abstract要約: 臨界性は生物学的ニューラルネットワークにおける重要な組織原理として提案されているが、その起源と人工ニューラルネットワークとの関連性はまだ不明である。 トレーニング長短期記憶(LSTM)ネットワークにおける隠れ状態のダイナミクスを解析し、最適なトレーニングエポックに近い小さなネットワークが、スケールのない雪崩統計と、ユニティに近い分岐パラメータを示すことを示す。
• 参考スコア（独自算出の注目度）: 4.865901711730685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Criticality has been proposed as a key organizing principle in biological neural systems, yet its origin and relevance in artificial neural networks remain unclear. We analyze hidden-state dynamics in trained long short-term memory (LSTM) networks and show that small networks near their optimal training epochs (steps) exhibit scale-free avalanche statistics and branching parameters close to unity, indicative of near-critical dynamics, while larger models remain subcritical. To explain the coexistence of subcritical branching with robust $1/f^β$ noise, we introduce a mixture branching process framework that links heterogeneous branching dynamics to long-range temporal correlations. These results identify critical-like behavior in LSTMs as an emergent, capacity-dependent dynamical regime.
• Abstract（参考訳）: 臨界性は生物学的ニューラルネットワークにおける重要な組織原理として提案されているが、その起源と人工ニューラルネットワークとの関連性はまだ不明である。 訓練長短期記憶(LSTM)ネットワークにおける隠れ状態のダイナミクスを解析し、その最適トレーニングエポック(ステップ)に近い小さなネットワークが、スケールのない雪崩統計と、ほぼ臨界に近いユニタリに近い分岐パラメータを示し、より大きなモデルが亜臨界のままであることを示す。 頑健な1/f^β$ノイズによるサブクリティカル分岐の共存を説明するために,異種分岐力学と長距離時間相関を結びつける混合分岐プロセスフレームワークを導入する。 これらの結果はLSTMの臨界様挙動を創発的でキャパシティに依存した動的状態として同定する。

関連論文リスト

• Drift-Diffusion Matching: Embedding dynamics in latent manifolds of asymmetric neural networks [0.8793721044482612]
  低次元潜在部分空間内の任意の力学系を表現するために、連続時間RNNを訓練するための一般的なフレームワークを導入する。 RNNは、カオス誘引子のような非線形および非平衡ダイナミクスを含む、与えられた微分方程式のドリフトと拡散を忠実に埋め込むことができることを示す。 その結果、非対称なニューラルネットワークは、低次元の動的計算を幅広いクラスに実装でき、連想記憶、非平衡統計力学、ニューラル計算のアイデアを統一できることを示した。
  論文  参考訳（メタデータ） (2026-02-16T16:15:59Z)
• Temporal Complexity and Self-Organization in an Exponential Dense Associative Memory Model [0.0]
  時間複雑度(TC)は、秩序と障害の間の断続的な遷移イベントによって複雑なシステムを特徴づけるフレームワークである。 以上の結果から,SEDAMモデルでは,非自明な時間的相関とスケールフリーな挙動を特徴とする複雑な断続的な状態がみられた。 本研究は, 人工神経と生体神経の学習と情報処理を理解するための補完的枠組みとして, TCの意義を強調した。
  論文  参考訳（メタデータ） (2026-01-16T18:01:14Z)
• Neuronal Group Communication for Efficient Neural representation [85.36421257648294]
  本稿では, 効率的な, モジュラー, 解釈可能な表現を学習する, 大規模ニューラルシステムの構築方法に関する問題に対処する。 本稿では、ニューラルネットワークを相互作用する神経群の動的システムとして再認識する理論駆動型フレームワークである神経グループ通信(NGC)を提案する。 NGCは、重みを埋め込みのようなニューロン状態間の過渡的な相互作用として扱い、神経計算はニューロン群間の反復的なコミュニケーションを通じて展開する。
  論文  参考訳（メタデータ） (2025-10-19T14:23:35Z)
• Learning by Steering the Neural Dynamics: A Statistical Mechanics Perspective [0.0]
  我々は、ニューラルネットワークが完全に局所的な分散学習をサポートする方法について研究する。 そこで本研究では,任意のバイナリ再帰ネットワークを用いた教師あり学習のための生物学的に妥当なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-10-13T22:28:34Z)
• Dynamical Learning in Deep Asymmetric Recurrent Neural Networks [1.3421746809394772]
  非対称なディープリカレントニューラルネットワークは、指数関数的に大きく、密度の高い内部表現の多様体を生み出すことを示す。 本稿では,再帰的ダイナミクスからインプット・アウトプット・アソシエーションが自然に出現する分散学習手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T12:05:09Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Predicting the temporal dynamics of turbulent channels through deep learning [0.0]
  最小乱流チャネル流の時間的進化を再現するニューラルネットワークの能力を評価することを目的としている。 長期記憶(LSTM)ネットワークとクープマンベースのフレームワーク(KNF)は、最小チャネルフローモードの時間ダイナミクスを予測するために訓練される。
  論文  参考訳（メタデータ） (2022-03-02T09:31:03Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。