論文の概要: Interpreting Arithmetic Mechanism in Large Language Models through Comparative Neuron Analysis
- arxiv url: http://arxiv.org/abs/2409.14144v1
- Date: Sat, 21 Sep 2024 13:46:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:58:09.168672
- Title: Interpreting Arithmetic Mechanism in Large Language Models through Comparative Neuron Analysis
- Title(参考訳): 比較ニューロン解析による大規模言語モデルの算術的メカニズムの解釈
- Authors: Zeping Yu, Sophia Ananiadou,
- Abstract要約: 演算能力は限られた数の注目ヘッド内に存在し、それぞれ異なる操作を専門とする。
本稿では,入力から予測までの4段階からなる内部論理チェーンを同定する,比較ニューロン解析(CNA)手法を提案する。
- 参考スコア(独自算出の注目度): 19.472889262384818
- License:
- Abstract: We find arithmetic ability resides within a limited number of attention heads, with each head specializing in distinct operations. To delve into the reason, we introduce the Comparative Neuron Analysis (CNA) method, which identifies an internal logic chain consisting of four distinct stages from input to prediction: feature enhancing with shallow FFN neurons, feature transferring by shallow attention layers, feature predicting by arithmetic heads, and prediction enhancing among deep FFN neurons. Moreover, we identify the human-interpretable FFN neurons within both feature-enhancing and feature-predicting stages. These findings lead us to investigate the mechanism of LoRA, revealing that it enhances prediction probabilities by amplifying the coefficient scores of FFN neurons related to predictions. Finally, we apply our method in model pruning for arithmetic tasks and model editing for reducing gender bias. Code is on https://github.com/zepingyu0512/arithmetic-mechanism.
- Abstract(参考訳): 演算能力は限られた数の注目ヘッド内に存在し、それぞれ異なる操作を専門とする。
そこで本研究では,入力から予測までの4つの異なる段階からなる内部論理鎖を同定するCNA法を提案する。これは,浅部FFNニューロンによる特徴伝達,浅部注目層による特徴伝達,算術的頭部による特徴予測,深部FFNニューロン間の特徴増強である。
さらに,特徴強調および特徴予測段階において,人間の解釈可能なFFNニューロンを同定した。
これらの結果からLoRAのメカニズムを解明し,予測に関連するFFNニューロンの係数スコアを増幅することにより予測確率を高めることを明らかにした。
最後に,算術的なタスクに対するモデルプルーニングと,ジェンダーバイアスを低減するためのモデル編集に本手法を適用した。
コードはhttps://github.com/zepingyu0512/arithmetic-mechanismにある。
関連論文リスト
- Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳(メタデータ) (2023-10-16T17:04:51Z) - NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical
Development Patterns of Preterm Infants [73.85768093666582]
我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。
NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
論文 参考訳(メタデータ) (2023-01-01T12:48:12Z) - A Novel Supervised Contrastive Regression Framework for Prediction of
Neurocognitive Measures Using Multi-Site Harmonized Diffusion MRI
Tractography [13.80649748804573]
Supervised Contrastive Regression (SCR)は、回帰タスクにおけるコントラスト学習の完全な監視を可能にする、シンプルで効果的な方法である。
SCRは、連続回帰ラベルの絶対差を用いて教師付きコントラスト表現学習を行う。
SCRは、他の最先端手法と比較して、神経認知的スコア予測の精度を向上する。
論文 参考訳(メタデータ) (2022-10-13T23:24:12Z) - NeuCEPT: Locally Discover Neural Networks' Mechanism via Critical
Neurons Identification with Precision Guarantee [23.216762728356798]
我々は,モデル予測において重要な役割を果たす重要なニューロンを局所的に発見する手法であるNeuCEPTを提案する。
実験の結果,NeuCEPTで同定されたニューロンは,モデルの予測に強い影響を及ぼすことが示された。
論文 参考訳(メタデータ) (2022-09-18T02:22:42Z) - Neuronal Correlation: a Central Concept in Neural Network [22.764342635264452]
神経相関は, 重み行列を用いて効率的に推定できることが示唆された。
神経相関は高次元隠れ空間におけるエントロピー推定の精度に大きく影響している。
論文 参考訳(メタデータ) (2022-01-22T15:01:50Z) - Overcoming the Domain Gap in Contrastive Learning of Neural Action
Representations [60.47807856873544]
神経科学の基本的な目標は、神経活動と行動の関係を理解することである。
我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。
このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
論文 参考訳(メタデータ) (2021-11-29T15:27:51Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳(メタデータ) (2021-07-02T01:55:18Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳(メタデータ) (2021-02-15T08:19:05Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of
Neural Responses [9.792408261365043]
我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。
本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。
この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
論文 参考訳(メタデータ) (2020-10-22T15:43:59Z) - Neuro-symbolic Neurodegenerative Disease Modeling as Probabilistic
Programmed Deep Kernels [93.58854458951431]
本稿では、神経変性疾患のパーソナライズされた予測モデリングのための、確率的プログラムによる深層カーネル学習手法を提案する。
我々の分析は、ニューラルネットワークとシンボリック機械学習のアプローチのスペクトルを考慮する。
我々は、アルツハイマー病の予測問題について評価を行い、深層学習を超越した結果を得た。
論文 参考訳(メタデータ) (2020-09-16T15:16:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。