論文の概要: Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance

• arxiv url: http://arxiv.org/abs/2211.00416v1
• Date: Tue, 1 Nov 2022 12:21:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 15:12:27.408159
• Title: Higher-order mutual information reveals synergistic sub-networks for multi-neuron importance
• Title（参考訳）: 高次相互情報によるマルチニューロンの重要性の相乗的サブネットワーク
• Authors: Kenzo Clauw, Sebastiano Stramaglia, Daniele Marinazzo
• Abstract要約: 以前の研究は、主に個々のニューロンにとって重要であった。 本研究では,シナジスティックあるいは冗長な情報を含むニューロン群について検討する。 結果から,本手法はプルーニングや教師なし表現学習に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.483420384410068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantifying which neurons are important with respect to the classification decision of a trained neural network is essential for understanding their inner workings. Previous work primarily attributed importance to individual neurons. In this work, we study which groups of neurons contain synergistic or redundant information using a multivariate mutual information method called the O-information. We observe the first layer is dominated by redundancy suggesting general shared features (i.e. detecting edges) while the last layer is dominated by synergy indicating local class-specific features (i.e. concepts). Finally, we show the O-information can be used for multi-neuron importance. This can be demonstrated by re-training a synergistic sub-network, which results in a minimal change in performance. These results suggest our method can be used for pruning and unsupervised representation learning.
• Abstract（参考訳）: トレーニングされたニューラルネットワークの分類決定に関して重要なニューロンの定量化は、その内部動作を理解する上で不可欠である。 以前の研究は、主に個々のニューロンにとって重要であった。 本研究では,o-informationと呼ばれる多変量相互情報法を用いて,ニューロン群が相乗的あるいは冗長な情報を含むかを検討する。 我々は,第1層が冗長性によって支配されるのに対し,第2層は局所クラス固有の特徴(概念)を示す相乗性によって支配されるのを観察する。 最後に, O-information を用いたマルチニューロンの重要性を示す。 これは、シナジスティックなサブネットワークを再トレーニングすることで、パフォーマンスの最小限の変更をもたらす。 これらの結果から,提案手法はpruningやunsupervised representation learningに利用できることが示唆された。

関連論文リスト

• Towards Utilising a Range of Neural Activations for Comprehending Representational Associations [0.6554326244334868]
  ディープニューラルネットワークにおける中間表現をラベル付けするアプローチでは,その振る舞いに関する貴重な情報を捕捉できないことを示す。 非極端レベルのアクティベーションには、調査する価値のある複雑な情報が含まれていると仮定する。 そこで本研究では,中間領域のロジットサンプルから得られたデータを用いて,スプリアス相関を緩和する手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T07:54:14Z)
• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• DISCOVER: Making Vision Networks Interpretable via Competition and Dissection [11.028520416752325]
  この研究は、ポストホック解釈可能性、特にネットワーク分割に寄与する。 私たちのゴールは、視覚タスクで訓練されたネットワークにおいて、各ニューロンの個々の機能を容易に発見できるフレームワークを提供することです。
  論文  参考訳（メタデータ） (2023-10-07T21:57:23Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• A Measure of the Complexity of Neural Representations based on Partial Information Decomposition [0.0]
  ニューラルネットワークでは、タスク関連情報はニューロンのグループによって共同で表現される。 情報理論の最近の拡張である部分的情報分解(PID)が、これらの異なる貢献をいかに解消するかを示す。 複数のニューロンにまたがる情報へのアクセスの難しさを定量化する「表現複雑度」の尺度を導入する。
  論文  参考訳（メタデータ） (2022-09-21T15:33:11Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization [59.5104563755095]
  本稿では,医用画像分類分野におけるディープニューラルネットワークの一般化能力向上のための,シンプルだが効果的なアプローチを提案する。 医用画像の領域変数がある程度コンパクトであることに感銘を受けて,変分符号化による代表的特徴空間の学習を提案する。
  論文  参考訳（メタデータ） (2020-09-27T12:30:30Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。