論文の概要: Neuron Empirical Gradient: Connecting Neurons' Linear Controllability and Representational Capacity

• arxiv url: http://arxiv.org/abs/2412.18053v1
• Date: Tue, 24 Dec 2024 00:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:38.787136
• Title: Neuron Empirical Gradient: Connecting Neurons' Linear Controllability and Representational Capacity
• Title（参考訳）: ニューロン経験的勾配:ニューロンの線形制御性と表現能力の結合
• Authors: Xin Zhao, Zehui Jiang, Naoki Yoshinaga,
• Abstract要約: まず、ニューロン活性化と出力トークン確率の線形関係を明らかにする。 PLMにおけるニューロンの経験的勾配が、スキルニューロンの探索による一般的なタスク知識を符号化するかどうかを検討する。
• 参考スコア（独自算出の注目度）: 14.693407823048478
• License:
• Abstract: Although neurons in the feed-forward layers of pre-trained language models (PLMs) can store factual knowledge, most prior analyses remain qualitative, leaving the quantitative relationship among knowledge representation, neuron activations, and model output poorly understood. In this study, by performing neuron-wise interventions using factual probing datasets, we first reveal the linear relationship between neuron activations and output token probabilities. We refer to the gradient of this linear relationship as ``neuron empirical gradients.'' and propose NeurGrad, an efficient method for their calculation to facilitate quantitative neuron analysis. We next investigate whether neuron empirical gradients in PLMs encode general task knowledge by probing skill neurons. To this end, we introduce MCEval8k, a multi-choice knowledge evaluation benchmark spanning six genres and 22 tasks. Our experiments confirm that neuron empirical gradients effectively capture knowledge, while skill neurons exhibit efficiency, generality, inclusivity, and interdependency. These findings link knowledge to PLM outputs via neuron empirical gradients, shedding light on how PLMs store knowledge. The code and dataset are released.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)のフィードフォワード層(英語版)のニューロンは事実知識を保存できるが、ほとんどの先行分析は質的であり、知識表現、ニューロンの活性化、モデル出力の間に定量的な関係を残している。 本研究では,実測データを用いてニューロンの介入を行うことにより,まず,ニューロンの活性化と出力トークン確率の線形関係を明らかにする。 この線形関係の勾配を ``neuron empirical gradients と呼ぶ。 定量的ニューロン解析を容易にするための計算法として,NeurGradを提案する。 次に, PLMにおけるニューロンの経験的勾配が, スキルニューロンの探索による一般的なタスク知識を符号化するかどうかを検討する。 この目的のために,6つのジャンルと22のタスクにまたがる多点知識評価ベンチマークであるMCEval8kを紹介する。 実験の結果,ニューロンは知識を効果的に捉え,スキルニューロンは効率,一般性,傾き,相互依存を示すことがわかった。 これらの知見は、PLMの知識を神経実験的勾配を通してPLMの出力と結びつけ、PLMの知識の保存方法に光を当てた。 コードとデータセットがリリースされる。

関連論文リスト

• Towards Utilising a Range of Neural Activations for Comprehending Representational Associations [0.6554326244334868]
  ディープニューラルネットワークにおける中間表現をラベル付けするアプローチでは,その振る舞いに関する貴重な情報を捕捉できないことを示す。 非極端レベルのアクティベーションには、調査する価値のある複雑な情報が含まれていると仮定する。 そこで本研究では,中間領域のロジットサンプルから得られたデータを用いて,スプリアス相関を緩和する手法を開発した。
  論文  参考訳（メタデータ） (2024-11-15T07:54:14Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Neuron-Level Knowledge Attribution in Large Language Models [19.472889262384818]
  本稿では,重要なニューロンをピンポイントする静的手法を提案する。 他の7つの手法と比較して,本手法は3つの指標にまたがる優れた性能を示す。 また,注目層とフィードフォワード層の両方にわたる6種類の知識を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2023-12-19T13:23:18Z)
• Neuroformer: Multimodal and Multitask Generative Pretraining for Brain Data [3.46029409929709]
  最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。 視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。 我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
  論文  参考訳（メタデータ） (2023-10-31T20:17:32Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Learnable latent embeddings for joint behavioral and neural analysis [3.6062449190184136]
  CEBRAは、空間のマッピング、複雑なキネマティックな特徴の発見、視覚野からの自然映画の高速かつ高精度な復号化に利用できることを示す。 我々は、その精度を検証し、カルシウムと電気生理学の両方のデータセット、感覚と運動のタスク、そして種全体にわたる単純または複雑な振る舞いにその有用性を実証する。
  論文  参考訳（メタデータ） (2022-04-01T19:19:33Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
  我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。 我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
  論文  参考訳（メタデータ） (2021-11-25T13:24:19Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。