Fugu-MT 論文翻訳(概要): NeuroX Library for Neuron Analysis of Deep NLP Models

論文の概要: NeuroX Library for Neuron Analysis of Deep NLP Models

arxiv url: http://arxiv.org/abs/2305.17073v1
Date: Fri, 26 May 2023 16:32:56 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 13:26:09.161993
Title: NeuroX Library for Neuron Analysis of Deep NLP Models
Title（参考訳）: 深部NLPモデルのニューロン解析のためのNeuroXライブラリー
Authors: Fahim Dalvi and Hassan Sajjad and Nadir Durrani
Abstract要約: 本稿では,自然言語処理モデルのニューロン解析を行うオープンソースツールキットNeuroXを提案する。 NeuroXは、統一されたAPIの下で様々な解釈方法を実装し、データ処理と評価のためのフレームワークを提供する。
参考スコア（独自算出の注目度）: 21.663464746974455
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Neuron analysis provides insights into how knowledge is structured in representations and discovers the role of neurons in the network. In addition to developing an understanding of our models, neuron analysis enables various applications such as debiasing, domain adaptation and architectural search. We present NeuroX, a comprehensive open-source toolkit to conduct neuron analysis of natural language processing models. It implements various interpretation methods under a unified API, and provides a framework for data processing and evaluation, thus making it easier for researchers and practitioners to perform neuron analysis. The Python toolkit is available at https://www.github.com/fdalvi/NeuroX. Demo Video available at https://youtu.be/mLhs2YMx4u8.
Abstract（参考訳）: ニューロン分析は、知識がどのように表現に構造化されているかの洞察を与え、ネットワークにおけるニューロンの役割を発見する。我々のモデルを理解することに加え、ニューロン分析はデバイアス、ドメイン適応、アーキテクチャ探索といった様々な応用を可能にする。本稿では,自然言語処理モデルのニューロン解析を行うオープンソースツールキットNeuroXを提案する。統一されたAPIの下で様々な解釈方法を実装し、データ処理と評価のためのフレームワークを提供し、研究者や実践者がニューロン分析をしやすくする。 python toolkitはhttps://www.github.com/fdalvi/neuroxで入手できる。デモビデオはhttps://youtu.be/mlhs2ymx4u8。

関連論文リスト

Graph Neural Networks for Brain Graph Learning: A Survey [53.74244221027981]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのマイニングにおいて大きな優位性を示している。脳障害解析のための脳グラフ表現を学習するGNNが最近注目を集めている。本稿では,GNNを利用した脳グラフ学習の成果をレビューすることで,このギャップを埋めることを目的としている。
論文参考訳（メタデータ） (2024-06-01T02:47:39Z)
Neuron-Level Knowledge Attribution in Large Language Models [19.472889262384818]
本稿では,重要なニューロンをピンポイントする静的手法を提案する。他の7つの手法と比較して,本手法は3つの指標にまたがる優れた性能を示す。また,注目層とフィードフォワード層の両方にわたる6種類の知識を解析するために,本手法を適用した。
論文参考訳（メタデータ） (2023-12-19T13:23:18Z)
WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文参考訳（メタデータ） (2023-10-25T20:34:08Z)
Deep Neural Networks and Brain Alignment: Brain Encoding and Decoding (Survey) [9.14580723964253]
AIモデルを使って脳についての洞察を得ることができるか? 脳記録に関する深層学習モデルの情報はどのようになっているか? 復号化モデルは、fMRIが与えられた刺激を再構成する逆問題を解決する。近年,自然言語処理,コンピュータビジョン,音声に対するディープラーニングモデルの有効性に触発されて,ニューラルコーディングや復号化モデルが提案されている。
論文参考訳（メタデータ） (2023-07-17T06:54:36Z)
Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文参考訳（メタデータ） (2023-05-31T14:44:33Z)
N2G: A Scalable Approach for Quantifying Interpretable Neuron Representations in Large Language Models [0.0]
N2Gは、ニューロンとそのデータセットの例を取り、これらの例のニューロンの振る舞いを解釈可能なグラフに自動的に蒸留するツールである。我々は、重要なトークンのみを提示するためにトランケーションとサリエンシ法を使用し、より多様なサンプルでデータセットの例を拡大し、ニューロンの振る舞いの程度をより正確に把握する。これらのグラフは、研究者による手動による解釈を助けるために視覚化できるが、テキスト上でトークンアクティベーションを出力して、ニューロンの基底真理アクティベーションと比較して自動検証することも可能だ。
論文参考訳（メタデータ） (2023-04-22T19:06:13Z)
Neuromorphic Artificial Intelligence Systems [58.1806704582023]
フォン・ノイマンアーキテクチャと古典的ニューラルネットワークに基づく現代のAIシステムは、脳と比較して多くの基本的な制限がある。この記事では、そのような制限と、それらが緩和される方法について論じる。これは、これらの制限が克服されている現在利用可能なニューロモーフィックAIプロジェクトの概要を示す。
論文参考訳（メタデータ） (2022-05-25T20:16:05Z)
The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文参考訳（メタデータ） (2020-12-07T01:20:38Z)
Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文参考訳（メタデータ） (2020-06-24T20:37:05Z)
Artificial neural networks for neuroscientists: A primer [4.771833920251869]
ニューラルネットワーク(ANN)は、神経科学に注目が集まる機械学習において必須のツールである。この教養的なプライマーでは、ANNを導入し、神経科学的な問題を研究するためにどのように成果を上げてきたかを実証する。この数学的枠組みを神経生物学に近づけることに焦点をあてて、ANNの分析、構造、学習のカスタマイズ方法について詳述する。
論文参考訳（メタデータ） (2020-06-01T15:08:42Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。