論文の概要: Toward a Physics of Deep Learning and Brains

• arxiv url: http://arxiv.org/abs/2509.22649v1
• Date: Fri, 26 Sep 2025 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.643509
• Title: Toward a Physics of Deep Learning and Brains
• Title（参考訳）: 深層学習と脳の物理に向けて
• Authors: Arsham Ghavasieh, Meritxell Vila-Minana, Akanksha Khurd, John Beggs, Gerardo Ortiz, Santo Fortunato,
• Abstract要約: 生体脳における神経細胞の雪崩を記述するために用いられる方程式は、深部神経ネットワークにおける活動のカスケードにも適用可能であることを示す。 この理論的枠組みは、普遍的な特徴が生物学的ニューラルネットワークと人工ニューラルネットワークの両方で共有されていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks and brains both learn and share superficial similarities: processing nodes are likened to neurons and adjustable weights are likened to modifiable synapses. But can a unified theoretical framework be found to underlie them both? Here we show that the equations used to describe neuronal avalanches in living brains can also be applied to cascades of activity in deep neural networks. These equations are derived from non-equilibrium statistical physics and show that deep neural networks learn best when poised between absorbing and active phases. Because these networks are strongly driven by inputs, however, they do not operate at a true critical point but within a quasi-critical regime -- one that still approximately satisfies crackling noise scaling relations. By training networks with different initializations, we show that maximal susceptibility is a more reliable predictor of learning than proximity to the critical point itself. This provides a blueprint for engineering improved network performance. Finally, using finite-size scaling we identify distinct universality classes, including Barkhausen noise and directed percolation. This theoretical framework demonstrates that universal features are shared by both biological and artificial neural networks.
• Abstract（参考訳）: 深層ニューラルネットワークと脳は、表面的な類似点を学習し、共有する。処理ノードはニューロンに似ており、調整可能な重みは変更可能なシナプスに似ています。 しかし、両者の基盤となる統一理論の枠組みは見いだせるだろうか? ここでは、生きた脳における神経細胞の雪崩を記述するために用いられる方程式が、ディープニューラルネットワークにおける活動のカスケードにも適用可能であることを示す。 これらの方程式は非平衡統計物理学から導かれ、深層ニューラルネットワークが吸収相と活性相の間にあるときに最もよく学習することを示す。 しかし、これらのネットワークは入力によって強く駆動されるため、真の臨界点ではなく、準臨界状態にある。 初期化の異なるネットワークを訓練することにより、最大感受性は臨界点そのものに近接するよりも学習の信頼性の高い予測因子であることが示される。 これは、エンジニアリングの改善されたネットワークパフォーマンスのための青写真を提供する。 最後に、有限サイズのスケーリングを用いて、バルクハウゼンノイズや有向パーコレーションを含む異なる普遍性クラスを識別する。 この理論的枠組みは、普遍的な特徴が生物学的ニューラルネットワークと人工ニューラルネットワークの両方で共有されていることを示す。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方では、ニューロン間の'バインディング'が、ネットワークの深い層においてより抽象的な概念を表現するために表現を圧縮する、競争的な学習の形式につながることが知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、定量化、推論など、幅広いタスクにわたるパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Expressivity of Neural Networks with Random Weights and Learned Biases [44.02417750529102]
  固定ランダム重み付きフィードフォワードニューラルネットワークは,任意の連続関数をコンパクトな集合上で近似することができることを示す。 我々の発見は神経科学に関係しており、シナプスの重みを変えることなく、またAIにも、動的に行動に関係のある変化が起こる可能性を実証している。
  論文  参考訳（メタデータ） (2024-07-01T04:25:49Z)
• Stable Learning Using Spiking Neural Networks Equipped With Affine Encoders and Decoders [2.0072624123275533]
  スパイクニューラルネットワークに関連する学習問題について検討する。 我々は、正のシナプス重みしか持たない単純なスパイキングニューロンからなるスパイキングニューラルネットワークに焦点を当てた。
  論文  参考訳（メタデータ） (2024-04-06T08:17:07Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural Networks [3.7277730514654555]
  決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。 同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
  論文  参考訳（メタデータ） (2020-02-11T11:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。