論文の概要: Finding Neurons in a Haystack: Case Studies with Sparse Probing
- arxiv url: http://arxiv.org/abs/2305.01610v2
- Date: Fri, 2 Jun 2023 21:52:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 01:38:03.192624
- Title: Finding Neurons in a Haystack: Case Studies with Sparse Probing
- Title(参考訳): ヘイスタックにおけるニューロンの発見 : スパースプローブを用いたケーススタディ
- Authors: Wes Gurnee, Neel Nanda, Matthew Pauly, Katherine Harvey, Dmitrii
Troitskii, Dimitris Bertsimas
- Abstract要約: 大規模言語モデル (LLM) の内部計算は不透明であり、よく理解されていない。
入力に特徴が存在することを予測するために、$k$-sparseの線形分類器を訓練する。
k$の値を変えることで、学習された表現の空間性と、それがモデルスケールによってどのように変化するかを研究する。
- 参考スコア(独自算出の注目度): 2.278231643598956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite rapid adoption and deployment of large language models (LLMs), the
internal computations of these models remain opaque and poorly understood. In
this work, we seek to understand how high-level human-interpretable features
are represented within the internal neuron activations of LLMs. We train
$k$-sparse linear classifiers (probes) on these internal activations to predict
the presence of features in the input; by varying the value of $k$ we study the
sparsity of learned representations and how this varies with model scale. With
$k=1$, we localize individual neurons which are highly relevant for a
particular feature, and perform a number of case studies to illustrate general
properties of LLMs. In particular, we show that early layers make use of sparse
combinations of neurons to represent many features in superposition, that
middle layers have seemingly dedicated neurons to represent higher-level
contextual features, and that increasing scale causes representational sparsity
to increase on average, but there are multiple types of scaling dynamics. In
all, we probe for over 100 unique features comprising 10 different categories
in 7 different models spanning 70 million to 6.9 billion parameters.
- Abstract(参考訳): 大規模言語モデル(LLM)の急速な採用と展開にもかかわらず、これらのモデルの内部計算は不透明で理解されていない。
本研究では,LLMの内部ニューロン活性化において,高レベルのヒト解釈可能特徴がどのように表現されているかを理解することを目的とする。
私たちは、これらの内部アクティベーションに対して、$k$-スパース線形分類子(probes)を訓練して、入力中の特徴の存在を予測する。
k=1$で、特定の特徴に高い関係を持つ個々のニューロンを局在させ、LLMの一般的な性質を説明するために多くのケーススタディを実行する。
特に、初期層は、重ね合わせにおける多くの特徴を表現するために、神経細胞の疎結合を利用し、中層は高次文脈特徴を表現するために専用のニューロンを持っているように見え、スケールの増大は平均的に表現の空間性を増大させるが、複数の種類のスケーリングダイナミクスが存在することを示す。
総じて、70万から690億のパラメータにまたがる7つの異なるモデルの10のカテゴリからなる100以上のユニークな特徴を探索する。
関連論文リスト
- Exploring Learned Representations of Neural Networks with Principal
Component Analysis [1.0923877073891446]
ある層では、高い精度の分類には中間的特徴空間分散の20%しか必要としない。
本研究は神経崩壊と相関し, 中間神経崩壊の関連現象の部分的証拠を提供する。
論文 参考訳(メタデータ) (2023-09-27T00:18:25Z) - Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。
また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
論文 参考訳(メタデータ) (2023-08-28T12:55:13Z) - The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。
ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。
本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
論文 参考訳(メタデータ) (2023-06-14T13:34:13Z) - Supervised Feature Selection with Neuron Evolution in Sparse Neural
Networks [17.12834153477201]
スパースニューラルネットワークを用いた資源効率の高い新しい特徴選択法を提案する。
スクラッチからトレーニングされたスパースニューラルネットワークの入力層から、不定形的特徴を徐々に抜き取ることにより、NeuroFSは、機能の情報的サブセットを効率的に導き出す。
NeuroFSは、最先端の教師付き特徴選択モデルの中で最上位のスコアを達成している。
論文 参考訳(メタデータ) (2023-03-10T17:09:55Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural
Networks [12.727906985789165]
スパイキングニューラルネットワーク(SNN)は、生物の可視性を取り入れ、将来的なエネルギー効率を活用するために何十年も研究されてきた。
既存のSNNを通して、スパイキングニューロンを定式化するために、漏洩統合火災モデル(LIF)が一般的に採用されている。
我々は、異なるニューロンの挙動に異なる生体機能を統合するために、統一されたスパイクニューロンであるGLIFを提案する。
論文 参考訳(メタデータ) (2022-10-25T05:07:48Z) - Understanding Neural Coding on Latent Manifolds by Sharing Features and
Dividing Ensembles [3.625425081454343]
システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。
これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。
ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
論文 参考訳(メタデータ) (2022-10-06T18:37:49Z) - Simple and complex spiking neurons: perspectives and analysis in a
simple STDP scenario [0.7829352305480283]
スパイキングニューラルネットワーク(SNN)は、生物学や神経科学にヒントを得て、高速で効率的な学習システムを構築する。
この研究は、文学における様々なニューロンモデルを考察し、単変数で効率的な計算ニューロンモデルを選択し、様々な種類の複雑さを提示する。
我々は, LIF, Quadratic I&F (QIF) および Exponential I&F (EIF) の3つの単純なI&Fニューロンモデルの比較研究を行い, より複雑なモデルの使用によってシステムの性能が向上するかどうかを検証した。
論文 参考訳(メタデータ) (2022-06-28T10:01:51Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z) - Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。
コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文 参考訳(メタデータ) (2020-02-02T21:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。