論文の概要: Under the Hood of Neural Networks: Characterizing Learned
Representations by Functional Neuron Populations and Network Ablations
- arxiv url: http://arxiv.org/abs/2004.01254v2
- Date: Mon, 11 May 2020 09:09:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-17 09:38:04.142828
- Title: Under the Hood of Neural Networks: Characterizing Learned
Representations by Functional Neuron Populations and Network Ablations
- Title(参考訳): ニューラルネットワークのフッドの下で:機能的ニューロン集団とネットワークアブレーションによる学習表現のキャラクタリゼーション
- Authors: Richard Meyes, Constantin Waubert de Puiseau, Andres Posada-Moreno,
Tobias Meisen
- Abstract要約: 学習課題を遂行するネットワーク内の単一ニューロンとニューロン群の役割について、光を当てた。
ニューロンの大きさやアクティベーションの選択性、ネットワーク性能への影響は、スタンドアローンの指標として十分ではないことが分かりました。
- 参考スコア(独自算出の注目度): 0.3441021278275805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The need for more transparency of the decision-making processes in artificial
neural networks steadily increases driven by their applications in safety
critical and ethically challenging domains such as autonomous driving or
medical diagnostics. We address today's lack of transparency of neural networks
and shed light on the roles of single neurons and groups of neurons within the
network fulfilling a learned task. Inspired by research in the field of
neuroscience, we characterize the learned representations by activation
patterns and network ablations, revealing functional neuron populations that a)
act jointly in response to specific stimuli or b) have similar impact on the
network's performance after being ablated. We find that neither a neuron's
magnitude or selectivity of activation, nor its impact on network performance
are sufficient stand-alone indicators for its importance for the overall task.
We argue that such indicators are essential for future advances in transfer
learning and modern neuroscience.
- Abstract(参考訳): 人工知能ネットワークにおける意思決定プロセスの透明性向上の必要性は、自律運転や医療診断といった安全性に批判的かつ倫理的に困難な領域における彼らの応用によって、着実に増大している。
今日のニューラルネットワークの透明性の欠如に対処し、学習タスクを遂行するネットワーク内の単一ニューロンとニューロンのグループの役割に光を当てています。
神経科学の分野での研究に触発され、活性化パターンとネットワークアブレーションによって学習された表現を特徴付け、機能的ニューロン集団を明らかにする。
a) 特定の刺激に応答して共同で行動すること
b) アブレーション後のネットワークのパフォーマンスに同様の影響がある。
ニューロンの大きさやアクティベーションの選択性、ネットワーク性能への影響は、全体のタスクにおいてその重要性を示すのに十分な指標ではないことがわかりました。
このような指標は、転校学習と現代神経科学の今後の進歩に不可欠である。
関連論文リスト
- Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - Mitigating Communication Costs in Neural Networks: The Role of Dendritic
Nonlinearity [28.243134476634125]
本研究では,ニューラルネットワークにおける非線形デンドライトの重要性について検討した。
その結果,樹状構造の統合はモデル容量と性能を大幅に向上させることができることがわかった。
論文 参考訳(メタデータ) (2023-06-21T00:28:20Z) - Learning to Act through Evolution of Neural Diversity in Random Neural
Networks [9.387749254963595]
ほとんどの人工ニューラルネットワーク(ANN)では、神経計算は通常すべてのニューロン間で共有される活性化関数に抽象化される。
本稿では,複雑な計算を行うことができる多様なニューロンの集合を実現するために,神経中心パラメータの最適化を提案する。
論文 参考訳(メタデータ) (2023-05-25T11:33:04Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳(メタデータ) (2022-10-06T15:36:27Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - A survey on recently proposed activation functions for Deep Learning [0.0]
本稿では,ニューラルネットワークにおけるアクティベーション関数の主な概念について述べる。
これには、ディープニューラルネットワークの簡単な紹介、アクティベーション関数とは何なのか、ニューラルネットワークでどのように使用されるのか、最も一般的な性質、異なるタイプのアクティベーション関数、いくつかの課題、制限、アクティベーション関数が直面する代替ソリューションなどが含まれる。
論文 参考訳(メタデータ) (2022-04-06T16:21:52Z) - POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with
Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。
提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
論文 参考訳(メタデータ) (2022-01-19T09:26:34Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - How Do You Act? An Empirical Study to Understand Behavior of Deep
Reinforcement Learning Agents [2.3268634502937937]
深層強化学習エージェントの意思決定プロセスの透明性向上への需要はこれまで以上に大きい。
本研究では,エージェントのポリシーネットワークの活性化空間を通じて学習した表現を特徴付ける。
本研究は,ネットワークの層活性化と実行動作の相関パターンを特徴とする健康エージェントの挙動を示す。
論文 参考訳(メタデータ) (2020-04-07T10:08:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。