論文の概要: Pruned Neural Networks are Surprisingly Modular

• arxiv url: http://arxiv.org/abs/2003.04881v6
• Date: Mon, 7 Feb 2022 21:22:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:25:46.168180
• Title: Pruned Neural Networks are Surprisingly Modular
• Title（参考訳）: ニューラルネットワークは驚くほどモジュラー
• Authors: Daniel Filan, Shlomi Hod, Cody Wild, Andrew Critch, Stuart Russell
• Abstract要約: 多層パーセプトロンに対するモジュラリティの測定可能な概念を導入する。 小型画像のデータセットに基づいて学習したニューラルネットワークのモジュラ構造について検討する。
• 参考スコア（独自算出の注目度）: 9.184659875364689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The learned weights of a neural network are often considered devoid of scrutable internal structure. To discern structure in these weights, we introduce a measurable notion of modularity for multi-layer perceptrons (MLPs), and investigate the modular structure of MLPs trained on datasets of small images. Our notion of modularity comes from the graph clustering literature: a "module" is a set of neurons with strong internal connectivity but weak external connectivity. We find that training and weight pruning produces MLPs that are more modular than randomly initialized ones, and often significantly more modular than random MLPs with the same (sparse) distribution of weights. Interestingly, they are much more modular when trained with dropout. We also present exploratory analyses of the importance of different modules for performance and how modules depend on each other. Understanding the modular structure of neural networks, when such structure exists, will hopefully render their inner workings more interpretable to engineers. Note that this paper has been superceded by "Clusterability in Neural Networks", arxiv:2103.03386 and "Quantifying Local Specialization in Deep Neural Networks", arxiv:2110.08058!
• Abstract（参考訳）: ニューラルネットワークの学習重量は、しばしば精査可能な内部構造を持たないと考えられている。 これらの重み付け構造を明らかにするために,マルチ層パーセプトロン(MLP)のモジュラリティを計測可能な概念を導入し,小型画像のデータセットに基づいてトレーニングされたMLPのモジュラリティ構造について検討する。 私たちのモジュラリティの概念は、グラフクラスタリングの文献から来ています。"モジュール"は、強い内部接続性を持つが外部接続性が弱いニューロンのセットです。 トレーニングやウェイトプルーニングは、ランダムに初期化したものよりもモジュール性が高く、ウェイト分布が同じ(少ない)ランダムなMPPよりもはるかにモジュール性が高いことが判明した。 興味深いことに、ドロップアウトでトレーニングする場合、よりモジュール化されている。 また,異なるモジュールの重要性とモジュールが相互に依存しているかを探索的に分析する。 このような構造が存在する場合、ニューラルネットワークのモジュラ構造を理解することで、内部の動作をよりエンジニアに解釈可能にすることが期待できる。 この論文は、"Clusterability in Neural Networks", arxiv:2103.03386 and "Quantifying Local Specialization in Deep Neural Networks", arxiv:2110.08058!

関連論文リスト

• Modular Training of Neural Networks aids Interpretability [45.8172254436063]
  我々は,クラスタビリティの尺度を定義し,事前学習したモデルがスペクトルグラフクラスタリングによって高度に集積されたクラスタを形成することを示す。 自動解釈可能性技術を用いることで,よりモジュール化され,異なる,不連続な,より小さな回路を学習するモデルの学習を支援することができることを示す。
  論文  参考訳（メタデータ） (2025-02-04T16:44:38Z)
• Breaking Neural Network Scaling Laws with Modularity [8.482423139660153]
  一般化に必要なトレーニングデータの量は、タスクの入力の内在的な次元によってどのように異なるかを示す。 そして、この利点を活かすために、モジュールネットワークのための新しい学習ルールを開発します。
  論文  参考訳（メタデータ） (2024-09-09T16:43:09Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• ModuleFormer: Modularity Emerges from Mixture-of-Experts [60.6148988099284]
  本稿では,大規模言語モデルの効率性と柔軟性を向上させるために,新しいニューラルネットワークアーキテクチャであるModuleFormerを提案する。 以前のSMoEベースのモジュラー言語モデルとは異なり、ModuleFormerは未処理のデータからモジュラリティを誘導することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:57Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Is a Modular Architecture Enough? [80.32451720642209]
  我々は、シンプルで既知のモジュラーデータ分散のレンズを通して、共通のモジュラーアーキテクチャを徹底的に評価する。 モジュール化と疎結合のメリットを強調し、モジュール化システムの最適化において直面する課題に関する洞察を明らかにします。
  論文  参考訳（メタデータ） (2022-06-06T16:12:06Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Robustness modularity in complex networks [1.749935196721634]
  本稿では,ロバストネスの概念に基づく新しい尺度を提案する。 ロバスト性モジュラリティは、ネットワークの構造がランダムに摂動しているときに、自明な分割を見つける確率である。 人工グラフと実グラフの試験により、異なるネットワークのコミュニティ構造の強度を評価し比較するために、ロバスト性モジュラリティが利用できることが明らかになった。
  論文  参考訳（メタデータ） (2021-10-05T19:00:45Z)
• Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks [10.0444013205203]
  NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。 しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
  論文  参考訳（メタデータ） (2020-10-05T15:04:11Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。