論文の概要: On the Evolution of Neuron Communities in a Deep Learning Architecture

• arxiv url: http://arxiv.org/abs/2106.04693v1
• Date: Tue, 8 Jun 2021 21:09:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 14:52:37.779378
• Title: On the Evolution of Neuron Communities in a Deep Learning Architecture
• Title（参考訳）: 深層学習アーキテクチャにおけるニューロン群集の進化について
• Authors: Sakib Mostafa, Debajyoti Mondal
• Abstract要約: 本稿では,ディープラーニングに基づく分類モデルのニューロン活性化パターンについて検討する。 コミュニティの品質(モジュラリティ)とエントロピーの両方が、ディープラーニングモデルのパフォーマンスと密接に関連していることを示す。
• 参考スコア（独自算出の注目度）: 0.7106986689736827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning techniques are increasingly being adopted for classification tasks over the past decade, yet explaining how deep learning architectures can achieve state-of-the-art performance is still an elusive goal. While all the training information is embedded deeply in a trained model, we still do not understand much about its performance by only analyzing the model. This paper examines the neuron activation patterns of deep learning-based classification models and explores whether the models' performances can be explained through neurons' activation behavior. We propose two approaches: one that models neurons' activation behavior as a graph and examines whether the neurons form meaningful communities, and the other examines the predictability of neurons' behavior using entropy. Our comprehensive experimental study reveals that both the community quality (modularity) and entropy are closely related to the deep learning models' performances, thus paves a novel way of explaining deep learning models directly from the neurons' activation pattern.
• Abstract（参考訳）: ディープラーニングのテクニックは、過去10年にわたって分類タスクに採用されているが、ディープラーニングアーキテクチャが最先端のパフォーマンスをいかに達成できるかは、いまだ明白な目標である。 すべてのトレーニング情報は、トレーニングされたモデルに深く埋め込まれていますが、モデルを分析するだけでは、そのパフォーマンスについてはあまり理解していません。 本稿では,深層学習に基づく分類モデルのニューロン活性化パターンを調べ,そのモデルの性能がニューロンの活性化行動を通じて説明できるかどうかを検討する。 本稿では,ニューロンの活性化行動をグラフとしてモデル化し,ニューロンが有意なコミュニティを形成しているかどうかを検証し,エントロピーを用いてニューロンの行動を予測する方法を提案する。 総合的な実験により, コミュニティの質(モジュラリティ)とエントロピー(エントロピー)は, 深層学習モデルの性能と密接に関連しており, ニューロンの活性化パターンから直接深層学習モデルを説明する新しい方法が提案されている。

関連論文リスト

• BLEND: Behavior-guided Neural Population Dynamics Modeling via Privileged Knowledge Distillation [6.3559178227943764]
  本稿では,特権的知識蒸留による行動誘導型ニューラル人口動態モデリングフレームワークBLENDを提案する。 特権情報として行動を考えることにより、行動観察(私的特徴)と神経活動(正規特徴)の両方を入力として扱う教師モデルを訓練する。 学生モデルは神経活動のみを用いて蒸留される。
  論文  参考訳（メタデータ） (2024-10-02T12:45:59Z)
• Neural Dynamics Model of Visual Decision-Making: Learning from Human Experts [28.340344705437758]
  視覚入力から行動出力まで,包括的な視覚的意思決定モデルを実装した。 我々のモデルは人間の行動と密接に一致し、霊長類の神経活動を反映する。 ニューロイメージング・インフォームド・ファインチューニング手法を導入し、モデルに適用し、性能改善を実現した。
  論文  参考訳（メタデータ） (2024-09-04T02:38:52Z)
• Latent Variable Sequence Identification for Cognitive Models with Neural Bayes Estimation [7.7227297059345466]
  本稿では,ニューラルベイズ推定を拡張して,実験データと対象変数空間との直接マッピングを学習する手法を提案する。 我々の研究は、リカレントニューラルネットワークとシミュレーションベースの推論を組み合わせることで、潜在変数配列を特定することで、研究者がより広範な認知モデルにアクセスできるようになることを強調している。
  論文  参考訳（メタデータ） (2024-06-20T21:13:39Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。