論文の概要: Neuron Empirical Gradient: Discovering and Quantifying Neurons Global Linear Controllability
- arxiv url: http://arxiv.org/abs/2412.18053v2
- Date: Mon, 17 Feb 2025 03:19:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:06:38.338191
- Title: Neuron Empirical Gradient: Discovering and Quantifying Neurons Global Linear Controllability
- Title（参考訳）: ニューロン経験的勾配:グローバルリニア制御の発見と定量化
- Authors: Xin Zhao, Zehui Jiang, Naoki Yoshinaga,
- Abstract要約: 本研究はまず,ニューロン活性化とモデル出力の数値的関係について検討する。
ニューロン実験勾配(NEG)の正確かつ効率的な計算法であるNeurGradを導入する。
- 参考スコア（独自算出の注目度）: 14.693407823048478
- License:
- Abstract: Although feed-forward neurons in pre-trained language models (PLMs) can store knowledge and their importance in influencing model outputs has been studied, existing work focuses on finding a limited set of neurons and analyzing their relative importance. However, the global quantitative role of activation values in shaping outputs remains unclear, hindering further advancements in applications like knowledge editing. Our study first investigates the numerical relationship between neuron activations and model output and discovers the global linear relationship between them through neuron interventions on a knowledge probing dataset. We refer to the gradient of this linear relationship as neuron empirical gradient (NEG), and introduce NeurGrad, an accurate and efficient method for computing NEG. NeurGrad enables quantitative analysis of all neurons in PLMs, advancing our understanding of neurons' controllability. Furthermore, we explore NEG's ability to represent language skills across diverse prompts via skill neuron probing. Experiments on MCEval8k, a multi-choice knowledge benchmark spanning various genres, validate NEG's representational ability. The data and code are released.
- Abstract（参考訳）: プレトレーニング言語モデル(PLM)におけるフィードフォワードニューロンは、知識を蓄積することができ、モデル出力への影響においてその重要性が研究されているが、既存の研究は、限られたニューロンの集合を見つけ、それらの相対的重要性を分析することに焦点を当てている。
しかし、活性化値のグローバルな定量的な役割は、知識編集のような応用のさらなる進歩を妨げるままである。
本研究はまず,ニューロンの活性化とモデル出力の数値的関係について検討し,知識探索データセット上でのニューロン介入を通して,それらの間の大域的線形関係を明らかにする。
我々は、この線形関係の勾配をニューロン経験勾配(NEG)と呼び、NEGの正確かつ効率的な計算方法であるNeurGradを導入する。
NeurGradは、PLM内の全てのニューロンを定量的に分析し、ニューロンの制御可能性の理解を深める。
さらに, NEGの言語能力の表現能力について, スキルニューロンの探索を通じて, 多様なプロンプトにまたがって検討する。
MCEval8kは、様々なジャンルにまたがるマルチチョイス知識ベンチマークであり、NEGの表現能力を検証する。
データとコードはリリースされます。
関連論文リスト
- Towards Utilising a Range of Neural Activations for Comprehending Representational Associations [0.6554326244334868]
ディープニューラルネットワークにおける中間表現をラベル付けするアプローチでは,その振る舞いに関する貴重な情報を捕捉できないことを示す。
非極端レベルのアクティベーションには、調査する価値のある複雑な情報が含まれていると仮定する。
そこで本研究では,中間領域のロジットサンプルから得られたデータを用いて,スプリアス相関を緩和する手法を開発した。
論文 参考訳（メタデータ） (2024-11-15T07:54:14Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Neuron-Level Knowledge Attribution in Large Language Models [19.472889262384818]
本稿では,重要なニューロンをピンポイントする静的手法を提案する。
他の7つの手法と比較して,本手法は3つの指標にまたがる優れた性能を示す。
また,注目層とフィードフォワード層の両方にわたる6種類の知識を解析するために,本手法を適用した。
論文 参考訳（メタデータ） (2023-12-19T13:23:18Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳（メタデータ） (2023-10-31T20:17:32Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳（メタデータ） (2023-06-14T13:34:13Z) - Constraints on the design of neuromorphic circuits set by the properties
of neural population codes [61.15277741147157]
脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。
ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
論文 参考訳（メタデータ） (2022-12-08T15:16:04Z) - Learnable latent embeddings for joint behavioral and neural analysis [3.6062449190184136]
CEBRAは、空間のマッピング、複雑なキネマティックな特徴の発見、視覚野からの自然映画の高速かつ高精度な復号化に利用できることを示す。
我々は、その精度を検証し、カルシウムと電気生理学の両方のデータセット、感覚と運動のタスク、そして種全体にわたる単純または複雑な振る舞いにその有用性を実証する。
論文 参考訳（メタデータ） (2022-04-01T19:19:33Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳（メタデータ） (2021-11-29T15:27:51Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳（メタデータ） (2021-11-25T13:24:19Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。