論文の概要: Detecting Information Relays in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2301.00911v1
• Date: Tue, 3 Jan 2023 01:02:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 14:05:13.885682
• Title: Detecting Information Relays in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける情報リレー検出
• Authors: Arend Hintze (Dalarna University) and Christoph Adami (Michigan State University)
• Abstract要約: 本稿では,ネットワークの機能的モジュラリティの理解と解析に有用な情報理論の概念を提案する。 リレー情報は、特定の機能(モジュール)に参加するニューロンの情報グループが、入力から出力へのリレー数を測定する。 モジュールの機能は、モジュールが保持するリレー情報の量と相関していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep-learning of artificial neural networks (ANNs) is creating highly functional tools that are, unfortunately, as hard to interpret as their natural counterparts. While it is possible to identify functional modules in natural brains using technologies such as fMRI, we do not have at our disposal similarly robust methods for artificial neural networks. Ideally, understanding which parts of an artificial neural network perform what function might help us to address a number of vexing problems in ANN research, such as catastrophic forgetting and overfitting. Furthermore, revealing a network's modularity could improve our trust in them by making these black boxes more transparent. Here we introduce a new information-theoretic concept that proves useful in understanding and analyzing a network's functional modularity: the relay information $I_R$. The relay information measures how much information groups of neurons that participate in a particular function (modules) relay from inputs to outputs. Combined with a greedy search algorithm, relay information can be used to {\em identify} computational modules in neural networks. We also show that the functionality of modules correlates with the amount of relay information they carry.
• Abstract（参考訳）: ニューラルネットワーク(anns)のディープラーニングは、残念ながら、自然なものと同じくらい解釈が難しい、高度に機能的なツールを生み出している。 fMRIなどの技術を用いて、自然脳の機能的モジュールを同定することは可能であるが、我々は、人工ニューラルネットワークの同様に堅牢な方法を持っていない。 理想的には、ニューラルネットワークのどの部分がどの機能を実行するかを理解することは、破滅的な忘れや過剰なフィッティングなど、an研究における多くの厄介な問題に対処するのに役立ちます。 さらに、ネットワークのモジュール性を明らかにすることで、これらのブラックボックスをより透明にすることで、ネットワークに対する信頼を高めることができます。 ここでは,ネットワークの機能的モジュラリティの理解と解析に有用な情報理論を新たに導入する:リレー情報$I_R$。 リレー情報は、特定の機能(モジュール)に参加するニューロンの情報グループが、入力から出力へのリレー数を測定する。 欲深い検索アルゴリズムと組み合わせることで、ニューラルネットワークの計算モジュールを識別するためにリレー情報を利用することができる。 また,モジュールの機能は,保持するリレー情報の量と相関していることを示す。

関連論文リスト

• Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
  本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。 まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。 我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
  論文  参考訳（メタデータ） (2025-02-03T20:30:46Z)
• Modular Growth of Hierarchical Networks: Efficient, General, and Robust Curriculum Learning [0.0]
  与えられた古典的、非モジュラーリカレントニューラルネットワーク(RNN)に対して、等価なモジュラーネットワークが複数のメトリクスにわたってより良い性能を発揮することを示す。 モジュラートポロジによって導入された帰納バイアスは,モジュール内の接続が固定された場合でもネットワークが良好に動作可能であることを示す。 以上の結果から,RNNの段階的モジュラー成長は,進化の時間スケールで複雑なタスクを学習する上でのメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-10T13:44:07Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• A Spiking Neural Network based on Neural Manifold for Augmenting Intracortical Brain-Computer Interface Data [5.039813366558306]
  脳-コンピュータインターフェース(BCI)は、脳内の神経信号をインストラクションに変換して外部デバイスを制御する。 高度な機械学習手法の出現により、脳-コンピュータインタフェースの能力はかつてないほど強化された。 ここでは、データジェネレータとしてスパイキングニューラルネットワーク(SNN)を用いる。
  論文  参考訳（メタデータ） (2022-03-26T15:32:31Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• RE-MIMO: Recurrent and Permutation Equivariant Neural MIMO Detection [85.44877328116881]
  無線通信システムにおけるシンボル検出のための新しいニューラルネットワークを提案する。 無線通信システムにおけるいくつかの重要な考察に動機付けられている。 その性能を既存手法と比較し,ネットワークが可変数の送信機を効率的に処理できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T22:43:01Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Teaching Recurrent Neural Networks to Modify Chaotic Memories by Example [14.91507266777207]
  繰り返しニューラルネットワークは,実例のみを用いて複雑な情報の表現を変更できることが示される。 我々は,これらの計算を学習するためのメカニズムを提供し,一つのネットワークが同時に複数の計算を学習できることを実証する。
  論文  参考訳（メタデータ） (2020-05-03T20:51:46Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。