論文の概要: Break It Down: Evidence for Structural Compositionality in Neural
Networks
- arxiv url: http://arxiv.org/abs/2301.10884v2
- Date: Mon, 6 Nov 2023 19:25:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 19:55:53.717469
- Title: Break It Down: Evidence for Structural Compositionality in Neural
Networks
- Title(参考訳): 分解:ニューラルネットワークの構造的構成性の証拠
- Authors: Michael A. Lepori, Thomas Serre, Ellie Pavlick
- Abstract要約: ニューラルネットワークは構成性を学習し、特殊なシンボリックメカニズムの必要性を回避できることを示す。
このことは、ニューラルネットワークが構成性を学ぶことができ、特別なシンボリックメカニズムの必要性を回避できる可能性を示唆している。
- 参考スコア(独自算出の注目度): 32.382094867951224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Though modern neural networks have achieved impressive performance in both
vision and language tasks, we know little about the functions that they
implement. One possibility is that neural networks implicitly break down
complex tasks into subroutines, implement modular solutions to these
subroutines, and compose them into an overall solution to a task - a property
we term structural compositionality. Another possibility is that they may
simply learn to match new inputs to learned templates, eliding task
decomposition entirely. Here, we leverage model pruning techniques to
investigate this question in both vision and language across a variety of
architectures, tasks, and pretraining regimens. Our results demonstrate that
models often implement solutions to subroutines via modular subnetworks, which
can be ablated while maintaining the functionality of other subnetworks. This
suggests that neural networks may be able to learn compositionality, obviating
the need for specialized symbolic mechanisms.
- Abstract(参考訳): 現代のニューラルネットワークは、視覚と言語の両方のタスクで素晴らしいパフォーマンスを実現していますが、それらを実装する機能についてはほとんど知りません。
1つの可能性として、ニューラルネットワークが暗黙的に複雑なタスクをサブルーチンに分解し、これらのサブルーチンに対するモジュラーなソリューションを実装し、タスクに対する全体的なソリューションに構成する。
もう1つの可能性は、単に新しい入力を学習したテンプレートにマッチさせることを学習し、タスクの分解を完全に免れることである。
ここでは,様々なアーキテクチャ,タスク,事前学習体制において,視覚と言語の両方でこの問題を調査するために,モデルプルーニング手法を活用する。
以上の結果から,モジュールサブネットワークによるサブルーチンのソリューションの実装は,他のサブネットワークの機能を維持しながら実現可能であることが示唆された。
これは、ニューラルネットワークが構成性を学ぶことができ、特別なシンボリックメカニズムの必要性を回避できることを示唆している。
関連論文リスト
- The Clock and the Pizza: Two Stories in Mechanistic Explanation of
Neural Networks [59.26515696183751]
ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。
単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
論文 参考訳(メタデータ) (2023-06-30T17:59:13Z) - Neural Sculpting: Uncovering hierarchically modular task structure in
neural networks through pruning and network analysis [8.080026425139708]
階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。
本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
論文 参考訳(メタデータ) (2023-05-28T15:12:32Z) - Can Transformers Learn to Solve Problems Recursively? [9.5623664764386]
本稿では,プログラムと形式検証に関連するニューラルネットワーク学習アルゴリズムの挙動について検討する。
これらのアルゴリズムを再構築することにより、近似関数の1つに対して、障害ケースの91%を正確に予測することができる。
論文 参考訳(メタデータ) (2023-05-24T04:08:37Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳(メタデータ) (2022-07-21T12:01:03Z) - Modeling Structure with Undirected Neural Networks [20.506232306308977]
任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
論文 参考訳(メタデータ) (2022-02-08T10:06:51Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳(メタデータ) (2020-10-15T20:43:17Z) - Are Neural Nets Modular? Inspecting Functional Modularity Through
Differentiable Weight Masks [10.0444013205203]
NNがモジュール化されているかどうか、どのように改善するかを理解することはできる。
しかし、現在の検査方法は、モジュールを機能にリンクすることができない。
論文 参考訳(メタデータ) (2020-10-05T15:04:11Z) - Understanding the Role of Individual Units in a Deep Neural Network [85.23117441162772]
本稿では,画像分類と画像生成ネットワーク内の隠れ単位を系統的に同定する分析フレームワークを提案する。
まず、シーン分類に基づいて訓練された畳み込みニューラルネットワーク(CNN)を分析し、多様なオブジェクト概念にマッチするユニットを発見する。
第2に、シーンを生成するために訓練されたGANモデルについて、同様の分析手法を用いて分析する。
論文 参考訳(メタデータ) (2020-09-10T17:59:10Z) - Text Modular Networks: Learning to Decompose Tasks in the Language of
Existing Models [61.480085460269514]
本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。
我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
論文 参考訳(メタデータ) (2020-09-01T23:45:42Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳(メタデータ) (2020-08-24T09:49:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。