論文の概要: Investigating the Encoding of Words in BERT's Neurons using Feature Textualization

• arxiv url: http://arxiv.org/abs/2311.08240v1
• Date: Tue, 14 Nov 2023 15:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 13:39:41.515139
• Title: Investigating the Encoding of Words in BERT's Neurons using Feature Textualization
• Title（参考訳）: 特徴テクスチャ化を用いたBERTニューロン内単語符号化の検討
• Authors: Tanja Baeumel, Soniya Vijayakumar, Josef van Genabith, Guenter Neumann, Simon Ostermann
• Abstract要約: 本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。 生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
• 参考スコア（独自算出の注目度）: 11.943486282441143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained language models (PLMs) form the basis of most state-of-the-art NLP technologies. Nevertheless, they are essentially black boxes: Humans do not have a clear understanding of what knowledge is encoded in different parts of the models, especially in individual neurons. The situation is different in computer vision, where feature visualization provides a decompositional interpretability technique for neurons of vision models. Activation maximization is used to synthesize inherently interpretable visual representations of the information encoded in individual neurons. Our work is inspired by this but presents a cautionary tale on the interpretability of single neurons, based on the first large-scale attempt to adapt activation maximization to NLP, and, more specifically, large PLMs. We propose feature textualization, a technique to produce dense representations of neurons in the PLM word embedding space. We apply feature textualization to the BERT model (Devlin et al., 2019) to investigate whether the knowledge encoded in individual neurons can be interpreted and symbolized. We find that the produced representations can provide insights about the knowledge encoded in individual neurons, but that individual neurons do not represent clearcut symbolic units of language such as words. Additionally, we use feature textualization to investigate how many neurons are needed to encode words in BERT.
• Abstract（参考訳）: プレトレーニング言語モデル(PLM)は、ほとんどの最先端のNLP技術の基礎となっている。 それにもかかわらず、それらは本質的にブラックボックスであり、人間はモデルの異なる部分、特に個々のニューロンでどの知識がエンコードされているかを明確に理解していない。 コンピュータビジョンでは、視覚モデルのニューロンに対して、特徴可視化が分解的解釈可能性技術を提供する。 活性化の最大化は、個々のニューロンにコードされた情報の本質的に解釈可能な視覚表現を合成するために用いられる。 我々の研究はこれに触発されてはいるが、NLPにアクティベーションの最大化を適応する最初の大規模な試み、より具体的には大きなPLMに基づいて、単一ニューロンの解釈可能性に関する注意深い物語を提示する。 PLMワード埋め込み空間におけるニューロンの高密度表現を生成する手法である特徴テキスト化を提案する。 BERTモデル(Devlin et al., 2019)に特徴テキスト化を適用し、個々のニューロンにコードされた知識を解釈し、シンボル化できるかを検討する。 生成した表現は、個々のニューロンに符号化された知識に関する洞察を与えることができるが、個々のニューロンは、単語のような言語の明確な記号単位を表現していない。 さらに,BERTにおける単語のエンコードに必要なニューロン数を調べるために,特徴テキスト化を用いる。

関連論文リスト

• Interpreting the Second-Order Effects of Neurons in CLIP [73.54377859089801]
  CLIPの個々のニューロンの機能をテキストで自動的に記述することで解釈する。 ニューロンから後続のアテンションヘッドに流れる影響を、直接出力に解析する「第2次レンズ」を提案する。 以上の結果から,ニューロンのスケーラブルな理解は,モデル騙しや新しいモデル機能の導入に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T17:59:52Z)
• Multimodal Neurons in Pretrained Text-Only Transformers [52.20828443544296]
  視覚表現を対応するテキストに変換する「マルチモーダルニューロン」を同定する。 マルチモーダルニューロンは入力を横断する特定の視覚概念で動作し、画像キャプションに系統的な因果効果を有することを示す。
  論文  参考訳（メタデータ） (2023-08-03T05:27:12Z)
• Neuron to Graph: Interpreting Language Model Neurons at Scale [8.32093320910416]
  本稿では,大規模言語モデル内の多数のニューロンにまたがる解釈可能性手法のスケールアップを目的とした,新しい自動化手法を提案する。 我々は、トレーニングしたデータセットからニューロンの振る舞いを自動的に抽出し、解釈可能なグラフに変換する革新的なツールであるNeuron to Graph(N2G)を提案する。
  論文  参考訳（メタデータ） (2023-05-31T14:44:33Z)
• Redundancy and Concept Analysis for Code-trained Language Models [5.726842555987591]
  コード学習言語モデルは、様々なコードインテリジェンスタスクに非常に効果的であることが証明されている。 計算ボトルネックとメモリ制約のため、多くのソフトウェアエンジニアリングアプリケーションのトレーニングとデプロイが難しい場合がある。 我々は,ソースコードモデルに対する最初のニューロンレベルの解析を行い,潜在表現内でのテクスチエントニューロンの同定を行う。
  論文  参考訳（メタデータ） (2023-05-01T15:22:41Z)
• BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
  我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。 将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
  論文  参考訳（メタデータ） (2023-02-28T07:40:37Z)
• Constraints on the design of neuromorphic circuits set by the properties of neural population codes [61.15277741147157]
  脳内では、情報はコード化され、伝達され、行動を伝えるために使用される。 ニューロモルフィック回路は、脳内のニューロンの集団が使用するものと互換性のある方法で情報を符号化する必要がある。
  論文  参考訳（メタデータ） (2022-12-08T15:16:04Z)
• Decoding Visual Neural Representations by Multimodal Learning of Brain-Visual-Linguistic Features [9.783560855840602]
  本稿では,脳-視覚-言語的特徴の多モーダル学習を用いたBraVLと呼ばれる汎用的ニューラルデコーディング手法を提案する。 マルチモーダル深部生成モデルを用いて,脳,視覚,言語的特徴の関係をモデル化することに注力する。 特に、BraVLモデルは、様々な半教師付きシナリオの下でトレーニングでき、余分なカテゴリから得られる視覚的特徴とテキスト的特徴を組み込むことができる。
  論文  参考訳（メタデータ） (2022-10-13T05:49:33Z)
• Natural Language Descriptions of Deep Visual Features [50.270035018478666]
  オープンエンド,コンポジション,自然言語による記述で自動的にニューロンをラベル付けする手法を提案する。 我々はMILANを用いて、視覚モデルにおける属性、カテゴリ、関係情報を選択的に選択したニューロンの分布と重要性を特徴付ける。 また、これらの特徴を曖昧にすることを目的としたデータセットでトレーニングされたモデルにおいて、人種や性別といった保護されたカテゴリに敏感な、監査用のMILANも使用しています。
  論文  参考訳（メタデータ） (2022-01-26T18:48:02Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。