論文の概要: NeuroSurgeon: A Toolkit for Subnetwork Analysis
- arxiv url: http://arxiv.org/abs/2309.00244v1
- Date: Fri, 1 Sep 2023 04:26:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 14:31:12.152314
- Title: NeuroSurgeon: A Toolkit for Subnetwork Analysis
- Title（参考訳）: NeuroSurgeon: サブネットワーク分析のためのツールキット
- Authors: Michael A. Lepori, Ellie Pavlick, Thomas Serre
- Abstract要約: ニューラルネットワークが表現することを学ぶアルゴリズムについて、多くのことが分かっていない。
最近の研究は、訓練されたモデルを機能回路に分解することで理解しようと試みている。
NeuroSurgeonは、Hugingface Transformersライブラリ内のモデル内でのワークの検出と操作に使用できるピソンライブラリである。
- 参考スコア（独自算出の注目度）: 32.382094867951224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent advances in the field of explainability, much remains unknown
about the algorithms that neural networks learn to represent. Recent work has
attempted to understand trained models by decomposing them into functional
circuits (Csord\'as et al., 2020; Lepori et al., 2023). To advance this
research, we developed NeuroSurgeon, a python library that can be used to
discover and manipulate subnetworks within models in the Huggingface
Transformers library (Wolf et al., 2019). NeuroSurgeon is freely available at
https://github.com/mlepori1/NeuroSurgeon.
- Abstract（参考訳）: 説明可能性の分野における最近の進歩にもかかわらず、ニューラルネットワークが表現することを学ぶアルゴリズムについては不明な点が多い。
近年、訓練されたモデルを機能回路に分解して理解しようと試みている(csord\'as et al., 2020; lepori et al., 2023)。
この研究を進めるため、我々はhughingface transformers library(wolf et al., 2019)でモデル内のサブネットワークを発見して操作できるpythonライブラリであるneurosurgeonを開発した。
NeuroSurgeonはhttps://github.com/mlepori1/NeuroSurgeonで無料で利用できる。
関連論文リスト
- NeuroX Library for Neuron Analysis of Deep NLP Models [21.663464746974455]
本稿では,自然言語処理モデルのニューロン解析を行うオープンソースツールキットNeuroXを提案する。
NeuroXは、統一されたAPIの下で様々な解釈方法を実装し、データ処理と評価のためのフレームワークを提供する。
論文 参考訳（メタデータ） (2023-05-26T16:32:56Z) - Detecting Information Relays in Deep Neural Networks [0.0]
本稿では,ネットワークの機能的モジュラリティの理解と解析に有用な情報理論の概念を提案する。
リレー情報は、特定の機能(モジュール)に参加するニューロンの情報グループが、入力から出力へのリレー数を測定する。
モジュールの機能は、モジュールが保持するリレー情報の量と相関していることを示す。
論文 参考訳（メタデータ） (2023-01-03T01:02:51Z) - Neuromorphic Artificial Intelligence Systems [58.1806704582023]
フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。
この記事では、そのような制限と、それらが緩和される方法について論じる。
これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
論文 参考訳（メタデータ） (2022-05-25T20:16:05Z) - Artificial Intelligence in Surgery: Neural Networks and Deep Learning [2.562741561534933]
ディープニューラルネットワークは、自動運転車から、放射線学と病理学におけるコンピュータ支援診断まで、最近の人工知能の成功を支えている。
手術の高度なデータ集約処理は、そのような計算手法の恩恵を大いに受ける可能性がある。
この章と付属するハンズオン素材は、ニューラルネットワークの背後にある直感を理解しようとする外科医のために設計された。
論文 参考訳（メタデータ） (2020-09-28T15:25:00Z) - Neurocoder: Learning General-Purpose Computation Using Stored Neural
Programs [64.56890245622822]
ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。
共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。
モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
論文 参考訳（メタデータ） (2020-09-24T01:39:16Z) - AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。
汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。
機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
論文 参考訳（メタデータ） (2020-03-06T19:00:04Z) - Learning to Continually Learn [14.988129334830003]
ニューロ変調メタラーニングアルゴリズム(ANML)を提案する。
脳の神経調節過程にインスパイアされた我々は、神経変調メタラーニングアルゴリズム(ANML)を提案する。
ANMLは最先端の継続的学習性能を生成し、600以上のクラスを逐次学習する(9000以上のSGD更新)。
論文 参考訳（メタデータ） (2020-02-21T22:52:00Z) - On the distance between two neural networks and the stability of
learning [59.62047284234815]
本稿では, パラメータ距離と勾配分解を, 幅広い非線形構成関数のクラスに関連付ける。
この分析により、ニューラルネットワークの深い相対信頼と降下補題と呼ばれる新しい距離関数が導かれる。
論文 参考訳（メタデータ） (2020-02-09T19:18:39Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。