論文の概要: Towards Generating Informative Textual Description for Neurons in Language Models

• arxiv url: http://arxiv.org/abs/2401.16731v1
• Date: Tue, 30 Jan 2024 04:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 16:22:02.319723
• Title: Towards Generating Informative Textual Description for Neurons in Language Models
• Title（参考訳）: 言語モデルにおけるニューロンの情報的テキスト記述の生成に向けて
• Authors: Shrayani Mondal, Rishabh Garodia, Arbaaz Qureshi, Taesung Lee and Youngja Park
• Abstract要約: 本稿では,ニューロンにテキスト記述を結び付けるフレームワークを提案する。 特に,提案手法が75%精度@2,50%リコール@2を実現していることを示す。
• 参考スコア（独自算出の注目度）: 6.884227665279812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent developments in transformer-based language models have allowed them to capture a wide variety of world knowledge that can be adapted to downstream tasks with limited resources. However, what pieces of information are understood in these models is unclear, and neuron-level contributions in identifying them are largely unknown. Conventional approaches in neuron explainability either depend on a finite set of pre-defined descriptors or require manual annotations for training a secondary model that can then explain the neurons of the primary model. In this paper, we take BERT as an example and we try to remove these constraints and propose a novel and scalable framework that ties textual descriptions to neurons. We leverage the potential of generative language models to discover human-interpretable descriptors present in a dataset and use an unsupervised approach to explain neurons with these descriptors. Through various qualitative and quantitative analyses, we demonstrate the effectiveness of this framework in generating useful data-specific descriptors with little human involvement in identifying the neurons that encode these descriptors. In particular, our experiment shows that the proposed approach achieves 75% precision@2, and 50% recall@2
• Abstract（参考訳）: 近年のトランスフォーマーベース言語モデルの発展により、限られたリソースで下流のタスクに適応できる幅広い世界の知識を捕捉できるようになった。 しかし、これらのモデルでどのような情報が理解されているかは不明であり、それらの同定におけるニューロンレベルの寄与はほとんど分かっていない。 ニューロン説明可能性の従来のアプローチは、定義済みの有限セットに依存するか、または一次モデルのニューロンを説明できる二次モデルのトレーニングに手動のアノテーションを必要とする。 本稿では、BERTを例として、これらの制約を取り除き、テキスト記述をニューロンに結び付ける新しいスケーラブルなフレームワークを提案する。 生成言語モデルの可能性を利用して、データセットに存在する人間の解釈可能な記述子を発見し、教師なしアプローチを用いて、これらの記述子でニューロンを説明する。 様々な質的,定量的な分析を通じて,これらの記述子をコードするニューロンの同定に人間的関与の少ない有用なデータ固有記述子を生成する上で,この枠組みの有効性を示す。 特に本実験では,提案手法が75%精度@2,50%リコール@2を達成していることを示す。

関連論文リスト

• Describe-and-Dissect: Interpreting Neurons in Vision Networks with Language Models [9.962488213825859]
  Describe-and-Dissect(DnD)は、視覚ネットワークにおける隠されたニューロンの役割を記述する新しい方法である。 DnDは、ラベル付きトレーニングデータや事前定義された概念セットを必要としない複雑な自然言語記述を生成する。
  論文  参考訳（メタデータ） (2024-03-20T17:33:02Z)
• Investigating the Encoding of Words in BERT's Neurons using Feature Textualization [11.943486282441143]
  本稿では,埋め込み語空間におけるニューロンの表現を生成する手法を提案する。 生成した表現は、個々のニューロンにおける符号化された知識についての洞察を与えることができる。
  論文  参考訳（メタデータ） (2023-11-14T15:21:49Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• On Model Explanations with Transferable Neural Pathways [41.2093021477798]
  対象モデルの特徴写像からニューラルパスを予測することを学習する生成的クラス関連ニューラルパス(GEN-CNP)モデルを提案する。 そこで我々は,同クラスのサンプルを説明するために,クラス関連神経経路を伝達し,その忠実さと解釈可能性について実験的,質的に示すことを提案する。
  論文  参考訳（メタデータ） (2023-09-18T15:50:38Z)
• N2G: A Scalable Approach for Quantifying Interpretable Neuron Representations in Large Language Models [0.0]
  N2Gは、ニューロンとそのデータセットの例を取り、これらの例のニューロンの振る舞いを解釈可能なグラフに自動的に蒸留するツールである。 我々は、重要なトークンのみを提示するためにトランケーションとサリエンシ法を使用し、より多様なサンプルでデータセットの例を拡大し、ニューロンの振る舞いの程度をより正確に把握する。 これらのグラフは、研究者による手動による解釈を助けるために視覚化できるが、テキスト上でトークンアクティベーションを出力して、ニューロンの基底真理アクティベーションと比較して自動検証することも可能だ。
  論文  参考訳（メタデータ） (2023-04-22T19:06:13Z)
• NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants [73.85768093666582]
  我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。 NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
  論文  参考訳（メタデータ） (2023-01-01T12:48:12Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Generalizable Neuro-symbolic Systems for Commonsense Question Answering [67.72218865519493]
  この章では、言語理解に適したニューロシンボリックモデルが、下流タスクにおけるドメインの一般化性と堅牢性を実現する方法について説明する。 ニューラルネットワークモデルと知識グラフを統合するための様々な方法について議論する。
  論文  参考訳（メタデータ） (2022-01-17T06:13:37Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。