論文の概要: Sparse Competition during Training For the Emergence of Specialized Modules

• arxiv url: http://arxiv.org/abs/2608.30978v1
• Date: Mon, 31 Aug 2026 15:37:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.486314
• Title: Sparse Competition during Training For the Emergence of Specialized Modules
• Title（参考訳）: 特化モジュールの創出のための訓練中のスパース競技
• Abstract要約: トレーニング中のニューロン群間の競合ダイナミクスによるモジュラー構造の出現について検討する。 この結果から,競争力学は標準アーキテクチャにおける機能的モジュラリティを誘導する単純なメカニズムとして機能する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modularity in deep neural networks has been proposed as a means of improving both interpretability and training by promoting disentangled representations and reducing redundancy. In this work, we study the emergence of modular structure through competition dynamics between groups of neurons during training. We introduce a method that (i) maintains near-baseline accuracy, (ii) induces usage-based modularity by sparsely routing inputs to neuron groups, and (iii) encourages specialization of these modules, such that their activations are correlated with input classes. We evaluate the proposed approach on ImageNet-100 and CIFAR-100 and show that with it, specialized modules emerge without module-level supervision. These modules capture a meaningful high-level structure in the data, with individual modules responding to semantic categories (e.g., dogs or vehicles). We also study the emergence of a hierarchical partition of sub-tasks depending on the number of modules. Our results suggest that competitive dynamics can serve as a simple mechanism for inducing functional modularity in standard architectures.
• Abstract（参考訳）: 深いニューラルネットワークにおけるモジュラリティは、非絡み合い表現の促進と冗長性の低減により、解釈可能性とトレーニングの両方を改善する手段として提案されている。 本研究では、トレーニング中のニューロン群間の競合ダイナミクスによるモジュラー構造の出現について検討する。 私たちはその方法を紹介します。 i) ほぼベースラインの精度を維持する。 (ii)ニューロン群への入力を疎にルーティングすることで、使用法に基づくモジュラリティを誘導し、 (iii) これらのモジュールの活性化が入力クラスと相関するような特殊化を奨励する。 提案手法をImageNet-100とCIFAR-100で評価し,モジュールレベルの監督なしに特殊なモジュールが出現することを示す。 これらのモジュールはデータの中で意味のあるハイレベルな構造を捉え、個々のモジュールはセマンティックなカテゴリ(犬や車など)に応答する。 また,モジュール数に依存する部分タスクの階層的分割の出現についても検討する。 この結果から,競争力学は標準アーキテクチャにおける機能的モジュラリティを誘導する単純なメカニズムとして機能する可能性が示唆された。

関連論文リスト

• Modular connectivity in neural networks emerges from Poisson noise-motivated regularisation, and promotes robustness and compositional generalisation [9.273764753674177]
  脳内の回路は、一般に複雑なタスクを分解するモジュラーアーキテクチャを示す。 対照的に、人工ニューラルネットワーク(ANN)は全ての処理を混合しているように見える。 活動依存型ニューラルノイズと非線形ニューラルレスポンスが組み合わさって解の出現を促すことを示す。
  論文  参考訳（メタデータ） (2025-12-05T20:20:36Z)
• Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation [29.16040150962427]
  ニューラルネットワークの構成一般化を改善するために,動的モジュール化推論モデル MORSE を提案する。 MORSEは推論プロセスを、各モジュールが機能単位を表すモジュールの組み合わせに分解する。 MORSEの合成一般化能力をテストするため、2つのベンチマークで解析木の長さと形状を増大させる実験を行った。
  論文  参考訳（メタデータ） (2023-09-14T11:40:30Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• Modularizing Deep Learning via Pairwise Learning With Kernels [12.051746916737343]
  特徴空間における積み重ね線形モデルとして、有限幅で完全に訓練可能なディープ・コンピューティング・ニューラルネットの代替的視点を示す。 次に,モジュール間のバックプロパゲーションを必要としない分類のための,証明可能な最適モジュール学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-05-12T04:19:37Z)
• Obtaining Faithful Interpretations from Compositional Neural Networks [72.41100663462191]
  NLVR2およびDROPデータセット上でNMNの中間出力を評価する。 中間出力は期待出力と異なり,ネットワーク構造がモデル動作の忠実な説明を提供していないことを示す。
  論文  参考訳（メタデータ） (2020-05-02T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。