論文の概要: Introduction to dynamical mean-field theory of generic random neural networks

• arxiv url: http://arxiv.org/abs/2305.08459v2
• Date: Tue, 16 May 2023 06:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 10:50:09.305882
• Title: Introduction to dynamical mean-field theory of generic random neural networks
• Title（参考訳）: 遺伝的ランダムニューラルネットワークの力学平均場理論入門
• Authors: Wenxuan Zou and Haiping Huang
• Abstract要約: 初心者がこのツールの本質や基礎となる物理学にアクセスするのは容易ではない。 本稿では,この手法を汎用的ランダムニューラルネットワークの具体例に紹介する。 積分微分平均場方程式を解く数値的実装についても詳述する。
• 参考スコア（独自算出の注目度）: 2.0711789781518752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamical mean-field theory is a powerful physics tool used to analyze the typical behavior of neural networks, where neurons can be recurrently connected, or multiple layers of neurons can be stacked. However, it is not easy for beginners to access the essence of this tool and the underlying physics. Here, we give a pedagogical introduction of this method in a particular example of generic random neural networks, where neurons are randomly and fully connected by correlated synapses and therefore the network exhibits rich emergent collective dynamics. We also review related past and recent important works applying this tool. In addition, a physically transparent and alternative method, namely the dynamical cavity method, is also introduced to derive exactly the same results. The numerical implementation of solving the integro-differential mean-field equations is also detailed, with an illustration of exploring the fluctuation dissipation theorem.
• Abstract（参考訳）: 動的平均場理論(英: dynamical mean-field theory)は、ニューラルネットワークの典型的な振る舞いを分析するために用いられる強力な物理ツールである。 しかし、初心者がこのツールの本質と基礎となる物理学にアクセスすることは容易ではない。 本稿では,ニューロンが相関シナプスによってランダムに完全に接続されるような,遺伝的ランダムニューラルネットワークの特定の例において,この手法の教育学的導入について述べる。 また、このツールの適用に関する過去および最近の重要な研究についても概説する。 さらに、物理的に透明で代替的な方法、すなわち動的空洞法も、全く同じ結果を得るために導入されている。 積分微分平均場方程式の解法に関する数値的な実装についても詳述し、揺らぎ散逸定理を探求する図解である。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Dynamic neurons: A statistical physics approach for analyzing deep neural networks [1.9662978733004601]
  我々は、ニューロンを相互作用の自由度として扱い、ディープニューラルネットワークの構造を単純化する。 翻訳対称性と再正規化群変換を利用することで、臨界現象を解析できる。 このアプローチは、統計物理学を用いてディープニューラルネットワークを研究するための新しい道を開くかもしれない。
  論文  参考訳（メタデータ） (2024-10-01T04:39:04Z)
• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  最近の研究は、任意の関数がパラメータの小さな部分集合をチューニングすることによって同様に学習できることを示し、普遍近似の境界を推し進めている。 ランダムな重みを固定したフィードフォワードニューラルネットワークが、バイアスのみを学習することによって複数のタスクを実行することができることを示す理論的および数値的なエビデンスを提供する。 我々の結果は神経科学に関係しており、シナプスの重みを変えることなく動的に行動に関連のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Path sampling of recurrent neural networks by incorporating known physics [0.0]
  我々は、再帰的なニューラルネットワークに一般的な熱力学または運動論的制約を組み込むことができる経路サンプリング手法を示す。 本稿では,長期記憶ネットワークとして広く利用されているリカレントニューラルネットワークについて述べる。 我々の手法は、他の生成人工知能モデルや、物理・社会科学の様々な分野における一般的な時系列に容易に一般化できる。
  論文  参考訳（メタデータ） (2022-03-01T16:35:50Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
  貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。 これらのネットワークの動作原理は、完全には理解されていない。 このようなネットワークの力学の新たな解析法を提案する。
  論文  参考訳（メタデータ） (2020-03-24T00:14:25Z)
• Approximation Bounds for Random Neural Networks and Reservoir Systems [8.143750358586072]
  本研究は、ランダムに生成された内部重みを持つ単層フィードフォワードおよび繰り返しニューラルネットワークに基づく近似について研究する。 特に、ランダムに生成された重みを持つエコー状態ネットワークは、広い種類の力学系を任意に近似することができることを証明している。
  論文  参考訳（メタデータ） (2020-02-14T09:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。