論文の概要: Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation

• arxiv url: http://arxiv.org/abs/2512.13707v1
• Date: Fri, 05 Dec 2025 20:20:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.761137
• Title: Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation
• Title（参考訳）: ポアソンノイズを動機とする正規化からニューラルネットワークにおけるモジュラー接続が出現し、堅牢性と構成一般化を促進する
• Authors: Daoyuan Qian, Qiyao Liang, Ila Fiete,
• Abstract要約: 脳内の回路は、一般に複雑なタスクを分解するモジュラーアーキテクチャを示す。 対照的に、人工ニューラルネットワーク(ANN)は全ての処理を混合しているように見える。 活動依存型ニューラルノイズと非線形ニューラルレスポンスが組み合わさって解の出現を促すことを示す。
• 参考スコア（独自算出の注目度）: 9.273764753674177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Circuits in the brain commonly exhibit modular architectures that factorise complex tasks, resulting in the ability to compositionally generalise and reduce catastrophic forgetting. In contrast, artificial neural networks (ANNs) appear to mix all processing, because modular solutions are difficult to find as they are vanishing subspaces in the space of possible solutions. Here, we draw inspiration from fault-tolerant computation and the Poisson-like firing of real neurons to show that activity-dependent neural noise, combined with nonlinear neural responses, drives the emergence of solutions that reflect an accurate understanding of modular tasks, corresponding to acquisition of a correct world model. We find that noise-driven modularisation can be recapitulated by a deterministic regulariser that multiplicatively combines weights and activations, revealing rich phenomenology not captured in linear networks or by standard regularisation methods. Though the emergence of modular structure requires sufficiently many training samples (exponential in the number of modular task dimensions), we show that pre-modularised ANNs exhibit superior noise-robustness and the ability to generalise and extrapolate well beyond training data, compared to ANNs without such inductive biases. Together, our work demonstrates a regulariser and architectures that could encourage modularity emergence to yield functional benefits.
• Abstract（参考訳）: 脳の回路は、一般に複雑なタスクを分解するモジュラーアーキテクチャを示し、結果として構成的に一般化し、破滅的な忘れを減らせる。 対照的に、ANN(Artificial Neural Network)は全ての処理を混合しているように見える。 ここでは、フォールトトレラント計算と実際のニューロンのポアソン様発火からインスピレーションを得て、活性依存ニューラルノイズと非線形ニューラルレスポンスが組み合わさって、正しい世界モデルの獲得に対応するモジュラータスクの正確な理解を反映した解の出現を誘導することを示す。 重みとアクティベーションを乗算的に組み合わせた決定論的正規化器によって、雑音駆動型モジュラー化は再カプセル化され、線形ネットワークや標準正規化手法では捕捉されないリッチな現象論が明らかになる。 モジュラー構造の出現には十分な数のトレーニングサンプル(モジュラータスクの次元に比例する)が必要であるが、事前モジュラライズされたANNは、そのような帰納バイアスのないANNと比較して、トレーニングデータよりも優れたノイズロス性および一般化および外挿能力を示すことを示す。 私たちの研究は、モジュラリティの出現を奨励し、機能的なメリットをもたらす、レギュラーとアーキテクチャを共に示しています。

関連論文リスト

• Inducing, Detecting and Characterising Neural Modules: A Pipeline for Functional Interpretability in Reinforcement Learning [1.597617022056624]
  ネットワーク重みの空間性と局所性がRLポリシネットワークにおける機能モジュールの出現にいかに寄与するかを示す。 これらの手法を2Dおよび3D MiniGrid環境に適用すると、異なる軸に対して異なるナビゲーションモジュールが一貫した出現を示す。
  論文  参考訳（メタデータ） (2025-01-28T17:02:16Z)
• Range, not Independence, Drives Modularity in Biologically Inspired Representations [52.48094670415497]
  我々は、生物学的にインスピレーションを受けたネットワークが、ソース変数(ソース)の表現をモジュール化する理論を開発する。 我々は、最適な線形オートエンコーダのニューロンがモジュラー化するかどうかを決定するソースのサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• A Deep Unrolling Model with Hybrid Optimization Structure for Hyperspectral Image Deconvolution [50.13564338607482]
  本稿では,DeepMixと呼ばれるハイパースペクトルデコンボリューション問題に対する新しい最適化フレームワークを提案する。 これは3つの異なるモジュール、すなわちデータ一貫性モジュール、手作りの正規化器の効果を強制するモジュール、および装飾モジュールで構成されている。 本研究は,他のモジュールの協調作業によって達成される進歩を維持するために設計された,文脈を考慮した認知型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning [2.038038953957366]
  最適性能のためのネットワークモジュラリティの量は、ネットワークの他の多くの特徴と問題環境の間の複雑な関係に絡み合っている可能性が高い。 我々は、ニューラルネットワークアーキテクチャのリッチで自動最適化と探索を可能にする古典的な神経進化アルゴリズムを使用した。
  論文  参考訳（メタデータ） (2022-05-13T05:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。