論文の概要: Partial Information Decomposition Reveals the Structure of Neural Representations

• arxiv url: http://arxiv.org/abs/2209.10438v1
• Date: Wed, 21 Sep 2022 15:33:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 15:14:14.273528
• Title: Partial Information Decomposition Reveals the Structure of Neural Representations
• Title（参考訳）: 部分情報分解によるニューラル表現の構造解明
• Authors: David A. Ehrlich, Andreas C. Schneider, Michael Wibral, Viola Priesemann, Abdullah Makkeh
• Abstract要約: ニューラルネットワークでは、タスク関連情報はニューロンのグループによって共同で表現される。 情報理論の最近の拡張である部分的情報分解(PID)が,これらの貢献をいかに解消するかを示す。 複数のニューロンにまたがる情報へのアクセスの難しさを定量化する「表現複雑度」の尺度を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In neural networks, task-relevant information is represented jointly by groups of neurons. However, the specific way in which the information is distributed among the individual neurons is not well understood: While parts of it may only be obtainable from specific single neurons, other parts are carried redundantly or synergistically by multiple neurons. We show how Partial Information Decomposition (PID), a recent extension of information theory, can disentangle these contributions. From this, we introduce the measure of "Representational Complexity", which quantifies the difficulty of accessing information spread across multiple neurons. We show how this complexity is directly computable for smaller layers. For larger layers, we propose subsampling and coarse-graining procedures and prove corresponding bounds on the latter. Empirically, for quantized deep neural networks solving the MNIST task, we observe that representational complexity decreases both through successive hidden layers and over training. Overall, we propose representational complexity as a principled and interpretable summary statistic for analyzing the structure of neural representations.
• Abstract（参考訳）: ニューラルネットワークでは、タスク関連情報はニューロンのグループによって共同で表現される。 しかし、個々のニューロン間で情報を分配する特定の方法はよく理解されていない:その部分は特定の単一ニューロンからのみ取得できるが、他の部分は複数のニューロンによって冗長にまたは相乗的に運ばれる。 情報理論の最近の拡張である部分的情報分解(PID)が,これらの貢献をいかに解消するかを示す。 本稿では,複数のニューロンにまたがる情報へのアクセスの難しさを定量化する「表現複雑度」の尺度を提案する。 より小さなレイヤに対して、この複雑さが直接計算可能であることを示す。 より大きな層に対して,サブサンプリング法と粗粒化法を提案し,後者に対応する境界を証明した。 経験的に、MNISTタスクを解く量子化ディープニューラルネットワークでは、連続した隠蔽層とオーバートレーニングの両方を通して表現の複雑さが減少する。 概して、神経表現の構造を分析するための原理的かつ解釈可能な要約統計として、表現複雑性を提案する。

関連論文リスト

• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Bayes Complexity of Learners vs Overfitting [4.873362301533825]
  関数の複雑性という新しい概念が、PACベイズのような一般化境界を支配していることを示す。 従来の研究とは対照的に、我々は自然に複数の層を持つニューラルネットワークに一般化している。 上界の導出により、2層と4層ニューラルネットワークの良好な一般化に必要なサンプル数の分離が図れる。
  論文  参考訳（メタデータ） (2023-03-13T13:07:02Z)
• Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance [0.483420384410068]
  以前の研究は、主に個々のニューロンにとって重要であった。 本研究では,シナジスティックあるいは冗長な情報を含むニューロン群について検討する。 結果から,本手法はプルーニングや教師なし表現学習に有効であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-01T12:21:15Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• Detecting Modularity in Deep Neural Networks [8.967870619902211]
  ネットワークニューロンの分割によるモジュラリティ評価の問題点を考察する。 本稿では,ニューロンがネットワーク性能にいかに重要かを反映した重要度と,そのニューロンが入力の特徴といかに常に関連しているかを反映したコヒーレンスという2つのプロキシを提案する。 これらの分割は、重みのみに基づくものであっても、重要で一貫性のあるニューロンのグループを明らかにします。
  論文  参考訳（メタデータ） (2021-10-13T20:33:30Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。