論文の概要: Are Neural Nets Modular? Inspecting Functional Modularity Through
Differentiable Weight Masks
- arxiv url: http://arxiv.org/abs/2010.02066v3
- Date: Sat, 6 Mar 2021 17:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 19:36:04.250110
- Title: Are Neural Nets Modular? Inspecting Functional Modularity Through
Differentiable Weight Masks
- Title(参考訳): ニューラルネットワークはモジュラか?
微分可能重量マスクによる機能的モジュラリティの検査
- Authors: R\'obert Csord\'as, Sjoerd van Steenkiste, J\"urgen Schmidhuber
- Abstract要約: NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。
しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
- 参考スコア(独自算出の注目度): 10.0444013205203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks (NNs) whose subnetworks implement reusable functions are
expected to offer numerous advantages, including compositionality through
efficient recombination of functional building blocks, interpretability,
preventing catastrophic interference, etc. Understanding if and how NNs are
modular could provide insights into how to improve them. Current inspection
methods, however, fail to link modules to their functionality. In this paper,
we present a novel method based on learning binary weight masks to identify
individual weights and subnets responsible for specific functions. Using this
powerful tool, we contribute an extensive study of emerging modularity in NNs
that covers several standard architectures and datasets. We demonstrate how
common NNs fail to reuse submodules and offer new insights into the related
issue of systematic generalization on language tasks.
- Abstract(参考訳): 再利用可能な機能を実装するニューラルネットワーク(NN)は、機能的ビルディングブロックの効率的な組換え、解釈可能性、破滅的干渉の防止など、多くの利点を提供すると期待されている。
NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。
しかし、現在の検査方法はモジュールを機能にリンクできない。
本稿では,特定の機能に関与する個々の重みとサブネットを識別するために,二分重みマスクの学習に基づく新しい手法を提案する。
この強力なツールを使うことで、いくつかの標準アーキテクチャとデータセットをカバーするNNのモジュール性に関する広範な研究に貢献する。
本稿では,NNがサブモジュールの再利用に失敗し,言語タスクの体系的一般化に関する新たな知見を提供する。
関連論文リスト
- OC-NMN: Object-centric Compositional Neural Module Network for
Generative Visual Analogical Reasoning [49.12350554270196]
モジュラリティがいかにして、想像にインスパイアされた構成データ拡張フレームワークを導出できるかを示す。
本手法は, オブジェクト中心合成ニューラルネットワーク (OC-NMN) を用いて, 視覚生成推論タスクを, ドメイン固有言語を使わずに, オブジェクトに適用した一連のプリミティブに分解する。
論文 参考訳(メタデータ) (2023-10-28T20:12:58Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳(メタデータ) (2023-02-22T18:11:25Z) - Break It Down: Evidence for Structural Compositionality in Neural
Networks [32.382094867951224]
ニューラルネットワークは構成性を学習し、特殊なシンボリックメカニズムの必要性を回避できることを示す。
このことは、ニューラルネットワークが構成性を学ぶことができ、特別なシンボリックメカニズムの必要性を回避できる可能性を示唆している。
論文 参考訳(メタデータ) (2023-01-26T00:53:11Z) - Detecting Information Relays in Deep Neural Networks [0.0]
本稿では,ネットワークの機能的モジュラリティの理解と解析に有用な情報理論の概念を提案する。
リレー情報は、特定の機能(モジュール)に参加するニューロンの情報グループが、入力から出力へのリレー数を測定する。
モジュールの機能は、モジュールが保持するリレー情報の量と相関していることを示す。
論文 参考訳(メタデータ) (2023-01-03T01:02:51Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳(メタデータ) (2022-10-14T18:00:07Z) - Modularity in NEAT Reinforcement Learning Networks [4.9444321684311925]
本稿では,拡張トポロジのNeuroEvolution of Augmenting Topologies (NEAT)ネットワークが時間とともに急速にモジュール性を高めていることを示す。
意外なことに、NEATはネットワークの適合度が収束してもモジュラーネットワークが増加する傾向にある。
探索されたパラメータ空間におけるネットワークモジュラリティの理想的なレベルは他のネットワーク変数に大きく依存していることが示されている。
論文 参考訳(メタデータ) (2022-05-13T05:18:18Z) - Neural Network Module Decomposition and Recomposition [35.21448933547118]
本稿では,機能の観点から,ディープニューラルネットワーク(DNN)を小さなモジュールに分解するモジュール化手法を提案する。
提案手法は,DNNを高い圧縮比と高精度で分解・分解できることを実証する。
論文 参考訳(メタデータ) (2021-12-25T08:36:47Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳(メタデータ) (2020-10-15T20:43:17Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。