論文の概要: Clustering units in neural networks: upstream vs downstream information
- arxiv url: http://arxiv.org/abs/2203.11815v1
- Date: Tue, 22 Mar 2022 15:35:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-23 14:41:14.771091
- Title: Clustering units in neural networks: upstream vs downstream information
- Title（参考訳）: ニューラルネットワークにおけるクラスタリングユニット:上流と下流の情報
- Authors: Richard D. Lange, David S. Rolnick, Konrad P. Kording
- Abstract要約: フィードフォワード全接続ネットワークの隠蔽層表現のモジュラリティについて検討する。
2つの驚くべき結果が得られた: 第一に、ドロップアウトはモジュラリティを劇的に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。
このことは、入力の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習することとは異なる目標である、という示唆から、表現学習に重要な意味を持つ。
- 参考スコア（独自算出の注目度）: 3.222802562733787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It has been hypothesized that some form of "modular" structure in artificial
neural networks should be useful for learning, compositionality, and
generalization. However, defining and quantifying modularity remains an open
problem. We cast the problem of detecting functional modules into the problem
of detecting clusters of similar-functioning units. This begs the question of
what makes two units functionally similar. For this, we consider two broad
families of methods: those that define similarity based on how units respond to
structured variations in inputs ("upstream"), and those based on how variations
in hidden unit activations affect outputs ("downstream"). We conduct an
empirical study quantifying modularity of hidden layer representations of
simple feedforward, fully connected networks, across a range of
hyperparameters. For each model, we quantify pairwise associations between
hidden units in each layer using a variety of both upstream and downstream
measures, then cluster them by maximizing their "modularity score" using
established tools from network science. We find two surprising results: first,
dropout dramatically increased modularity, while other forms of weight
regularization had more modest effects. Second, although we observe that there
is usually good agreement about clusters within both upstream methods and
downstream methods, there is little agreement about the cluster assignments
across these two families of methods. This has important implications for
representation-learning, as it suggests that finding modular representations
that reflect structure in inputs (e.g. disentanglement) may be a distinct goal
from learning modular representations that reflect structure in outputs (e.g.
compositionality).
- Abstract（参考訳）: ニューラルネットワークにおけるある種の「モジュラー」構造は、学習、構成性、一般化に有用であると仮定されている。
しかし、モジュラリティの定義と定量化は未解決の問題である。
我々は,類似機能ユニットのクラスタ検出の問題に,機能モジュール検出の問題を取り入れた。
このことは、2つのユニットが機能的に類似していることに疑問を投げかける。
そこで本研究では,入力における構造的変動に反応する単位の類似性(アップストリーム)と,隠れた単位活性化の変動が出力にどのように影響するか(ダウンストリーム)に基づいて類似性を定義する方法を検討する。
我々は,複数のハイパーパラメータにわたって,単純なフィードフォワード,完全連結ネットワークの隠蔽層表現のモジュラリティを定量化する実証的研究を行った。
各モデルについて、上流と下流の両方の測度を用いて各層の隠れた単位間のペアワイズ関係を定量化し、ネットワーク科学の確立したツールを用いて「モジュラリティスコア」を最大化してクラスタ化する。
第一に、ドロップアウトはモジュール性を大幅に増加させ、他の形態の重み正規化はより穏やかな効果を持っていた。
第二に、上流メソッドと下流メソッドの両方には通常、クラスタに関する合意があるが、これら2つのメソッドのファミリーにまたがるクラスタ割り当てに関する合意はほとんどない。
これは表現学習にとって重要な意味を持ち、入力(例えば、乱れ)の構造を反映するモジュラー表現を見つけることは、出力の構造を反映するモジュラー表現を学習すること(例えば合成性)の明確な目標であることを示唆している。
関連論文リスト
- R-Cut: Enhancing Explainability in Vision Transformers with Relationship
Weighted Out and Cut [14.382326829600283]
リレーションウェイトアウト」と「カット」の2つのモジュールを紹介します。
Cut"モジュールは、位置、テクスチャ、色などの要素を考慮して、きめ細かい特徴分解を行う。
我々は,ImageNetデータセット上で定性的かつ定量的な実験を行い,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-07-18T08:03:51Z) - Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。
負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。
これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文 参考訳（メタデータ） (2023-02-22T18:11:25Z) - Part-guided Relational Transformers for Fine-grained Visual Recognition [59.20531172172135]
識別的特徴を学習し,特徴変換モジュールとの相関関係を探索するフレームワークを提案する。
提案手法は,3-of-the-levelオブジェクト認識において,部分ブランチの追加に頼らず,最先端の性能に達する。
論文 参考訳（メタデータ） (2022-12-28T03:45:56Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - Robustness modularity in complex networks [1.749935196721634]
本稿では,ロバストネスの概念に基づく新しい尺度を提案する。
ロバスト性モジュラリティは、ネットワークの構造がランダムに摂動しているときに、自明な分割を見つける確率である。
人工グラフと実グラフの試験により、異なるネットワークのコミュニティ構造の強度を評価し比較するために、ロバスト性モジュラリティが利用できることが明らかになった。
論文 参考訳（メタデータ） (2021-10-05T19:00:45Z) - LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。
我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。
任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
論文 参考訳（メタデータ） (2020-12-20T11:02:49Z) - Neural Function Modules with Sparse Arguments: A Dynamic Approach to
Integrating Information across Layers [84.57980167400513]
Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。
トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。
私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
論文 参考訳（メタデータ） (2020-10-15T20:43:17Z) - A new nature inspired modularity function adapted for unsupervised
learning involving spatially embedded networks: A comparative analysis [0.0]
教師なしの機械学習手法は、多くの伝統的なエンジニアリング分野において非常に役立つ。
新たに開発したモジュラリティ関数の性能を,よく知られたモジュラリティ関数と比較した。
本稿では,本手法が競合する手法よりもはるかに優れた結果をもたらすことを示す。
論文 参考訳（メタデータ） (2020-07-18T04:32:14Z) - Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。
より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。
5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
論文 参考訳（メタデータ） (2020-07-17T15:41:37Z) - A Deep Joint Sparse Non-negative Matrix Factorization Framework for
Identifying the Common and Subject-specific Functional Units of Tongue Motion
During Speech [7.870139900799612]
音声中の舌運動の共通および主観的機能単位を特定するための新しいディープラーニングフレームワークを開発した。
スパースとグラフ正規化によるNMFを、ディープニューラルネットワークに似たモジュラーアーキテクチャに変換する。
論文 参考訳（メタデータ） (2020-07-09T15:05:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。