Fugu-MT 論文翻訳(概要): Tackling Polysemanticity with Neuron Embeddings

論文の概要: Tackling Polysemanticity with Neuron Embeddings

arxiv url: http://arxiv.org/abs/2411.08166v1
Date: Tue, 12 Nov 2024 20:19:39 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-14 16:10:50.456024
Title: Tackling Polysemanticity with Neuron Embeddings
Title（参考訳）: ニューロンの埋め込みによる多面的多面性への対処
Authors: Alex Foote,
Abstract要約: 本稿では,多意味性に対処するための表現であるニューロン埋め込みについて述べる。提案手法を GPT2-small に適用し,その結果を探索するためのUIを提供する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We present neuron embeddings, a representation that can be used to tackle polysemanticity by identifying the distinct semantic behaviours in a neuron's characteristic dataset examples, making downstream manual or automatic interpretation much easier. We apply our method to GPT2-small, and provide a UI for exploring the results. Neuron embeddings are computed using a model's internal representations and weights, making them domain and architecture agnostic and removing the risk of introducing external structure which may not reflect a model's actual computation. We describe how neuron embeddings can be used to measure neuron polysemanticity, which could be applied to better evaluate the efficacy of Sparse Auto-Encoders (SAEs).
Abstract（参考訳）: 本稿では,ニューロンの特徴的データセットの例において,個々の意味的振る舞いを識別することにより,多意味性に対処するために使用できる表現であるニューロン埋め込みについて述べる。提案手法を GPT2-small に適用し,その結果を探索するためのUIを提供する。ニューロンの埋め込みはモデルの内部表現と重みを使って計算され、ドメインやアーキテクチャを非依存にし、モデルの実際の計算を反映しない外部構造を導入するリスクを取り除く。 Sparse Auto-Encoders (SAEs) の有効性を評価するために, ニューロンの埋め込みを用いてニューロンの多面性を測定する方法について述べる。

関連論文リスト

PURE: Turning Polysemantic Neurons Into Pure Features by Identifying Relevant Circuits [12.17671779091913]
本稿では、複数の単意味「仮想」ニューロンにポリセマンティックニューロンを分解することで、あらゆるディープニューラルネットワークのポリセマンティック性を遠ざける方法を提案する。私たちは、ImageNetでトレーニングされたResNetモデルの多意味ユニットを、どのように見つけ、切り離すことができるかを示します。
論文参考訳（メタデータ） (2024-04-09T16:54:19Z)
Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
論文参考訳（メタデータ） (2024-01-11T18:57:17Z)
WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
論文参考訳（メタデータ） (2023-10-25T20:34:08Z)
Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
論文参考訳（メタデータ） (2023-05-31T14:44:33Z)
N2G: A Scalable Approach for Quantifying Interpretable Neuron Representations in Large Language Models [0.0]
N2Gは、ニューロンとそのデータセットの例を取り、これらの例のニューロンの振る舞いを解釈可能なグラフに自動的に蒸留するツールである。我々は、重要なトークンのみを提示するためにトランケーションとサリエンシ法を使用し、より多様なサンプルでデータセットの例を拡大し、ニューロンの振る舞いの程度をより正確に把握する。これらのグラフは、研究者による手動による解釈を助けるために視覚化できるが、テキスト上でトークンアクティベーションを出力して、ニューロンの基底真理アクティベーションと比較して自動検証することも可能だ。
論文参考訳（メタデータ） (2023-04-22T19:06:13Z)
Neuroevolutionary algorithms driven by neuron coverage metrics for semi-supervised classification [60.60571130467197]
一部の機械学習アプリケーションでは、ラベル付けされていないインスタンスが豊富であるのに対して、教師付き分類のためのラベル付きインスタンスの可用性は制限されている。本稿では、ニューラルネットワークアーキテクチャ上で計算されたニューラルネットワークカバレッジメトリクスを用いて、未ラベルのインスタンスを利用する神経進化的アプローチを提案する。
論文参考訳（メタデータ） (2023-03-05T23:38:44Z)
The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文参考訳（メタデータ） (2020-12-07T01:20:38Z)
Learning identifiable and interpretable latent models of high-dimensional neural activity using pi-VAE [10.529943544385585]
本稿では,潜在モデルと従来のニューラルエンコーディングモデルから重要な要素を統合する手法を提案する。我々の手法であるpi-VAEは、同定可能な変分自動エンコーダの最近の進歩にインスパイアされている。人工データを用いてpi-VAEを検証し,それをラット海馬およびマカク運動野の神経生理学的データセットの解析に応用した。
論文参考訳（メタデータ） (2020-11-09T22:00:38Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)
Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
論文参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。