論文の概要: Locating Factual Knowledge in Large Language Models: Exploring the
Residual Stream and Analyzing Subvalues in Vocabulary Space
- arxiv url: http://arxiv.org/abs/2312.12141v2
- Date: Tue, 30 Jan 2024 12:19:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 18:31:14.145996
- Title: Locating Factual Knowledge in Large Language Models: Exploring the
Residual Stream and Analyzing Subvalues in Vocabulary Space
- Title(参考訳): 大規模言語モデルにおけるファクチュアル知識の配置:残差ストリームの探索と語彙空間における部分値の解析
- Authors: Zeping Yu, Sophia Ananiadou
- Abstract要約: 残差ストリームを探索することにより,大規模言語モデルにおける事実的知識の所在を見いだす。
語彙空間に投影する際、サブバリューが人間に解釈可能な概念を持つ理由が分かる。
- 参考スコア(独自算出の注目度): 23.004639058802898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We find the location of factual knowledge in large language models by
exploring the residual stream and analyzing subvalues in vocabulary space. We
find the reason why subvalues have human-interpretable concepts when projecting
into vocabulary space. The before-softmax values of subvalues are added by an
addition function, thus the probability of top tokens in vocabulary space will
increase. Based on this, we find using log probability increase to compute the
significance of layers and subvalues is better than probability increase, since
the curve of log probability increase has a linear monotonically increasing
shape. Moreover, we calculate the inner products to evaluate how much a
feed-forward network (FFN) subvalue is activated by previous layers. Base on
our methods, we find where factual knowledge <France, capital, Paris> is
stored. Specifically, attention layers store "Paris is related to France". FFN
layers store "Paris is a capital/city", activated by attention subvalues
related to "capital". We leverage our method on Baevski-18, GPT2 medium,
Llama-7B and Llama-13B. Overall, we provide a new method for understanding the
mechanism of transformers. We will release our code on github.
- Abstract(参考訳): 残差ストリームを探索し,語彙空間のサブ値を分析することにより,大規模言語モデルにおける事実的知識の所在を見いだす。
語彙空間に投影する際、サブバリューが人間解釈可能な概念を持つ理由が分かる。
サブ値の前ソフトマックス値は加算関数によって加算されるので、語彙空間におけるトップトークンの確率は増加する。
これに基づいて、ログ確率増加曲線は線形単調に増大するので、層とサブ値の重要度を計算するためにログ確率増加を用いると、確率増加よりも優れた値が得られる。
さらに, 内部積を計算し, フィードフォワードネットワーク (ffn) のサブ値が前層によってどの程度活性化されるかを評価する。
我々の手法に基づいて、事実知識<France, capital, Paris>がどこに保管されているかが分かる。
特に注意層は「パリはフランスに関連している」と記憶している。
FFNレイヤは"Paris is a capital/city"を格納し、"Capital"に関連する注目サブバリューによって起動される。
本手法はBaevski-18, GPT2, Llama-7B, Llama-13Bに応用した。
全体として,トランスのメカニズムを理解するための新しい手法を提案する。
私たちはgithubでコードを公開します。
関連論文リスト
- How Large Language Models Encode Context Knowledge? A Layer-Wise Probing
Study [27.23388511249688]
本稿では,知識を符号化する大規模言語モデルのレイヤーワイド能力について検討する。
探索データセットの構築にはChatGPTの強力な生成能力を活用する。
矛盾する知識と新たに獲得した知識の実験は、LLMが上位層でより多くのコンテキスト知識をエンコードすることを好んでいることを示している。
論文 参考訳(メタデータ) (2024-02-25T11:15:42Z) - Backward Lens: Projecting Language Model Gradients into the Vocabulary
Space [94.85922991881242]
勾配行列は、その前方および後方の入力の低ランク線形結合としてキャスト可能であることを示す。
次に、これらの勾配を語彙項目に投影する手法を開発し、新しい情報がLMのニューロンにどのように格納されているかのメカニズムを探索する。
論文 参考訳(メタデータ) (2024-02-20T09:57:08Z) - Empirical Study on Updating Key-Value Memories in Transformer
Feed-forward Layers [27.636372947415186]
トランスにおけるフィードフォワードネットワーク(FFN)は、抽象的な高レベルの知識を復元するキーバリューニューラルメモリのグループとして認識される。
我々は、キー(FFNs層の第1層)または値の更新に関する実証的アブレーション研究を行う。
我々はこれらの2つの手法を、様々な知識編集と大規模言語モデルの微調整タスクで比較し、FFNの理解を深めるために洞察を引き出す。
論文 参考訳(メタデータ) (2024-02-19T15:42:54Z) - Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。
そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-09T04:52:31Z) - Attention-likelihood relationship in transformers [2.8304391396200064]
我々は、大言語モデル(LLM)が文脈外単語をどのように表現しているかを分析し、その意味を捉えるために、与えられた文脈への依存を調査する。
我々の可能性誘導型テキスト摂動は、トランスフォーマーベース言語モデルにおけるトークン確率と注意値の相関関係を明らかにする。
論文 参考訳(メタデータ) (2023-03-15T00:23:49Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Transformer Feed-Forward Layers Build Predictions by Promoting Concepts
in the Vocabulary Space [49.029910567673824]
トランスフォーマーベース言語モデル(LM)は現代のNLPの中核にあるが、内部予測構築プロセスは不透明であり、ほとんど理解されていない。
我々は、フィードフォワードネットワーク(FFN)層の動作をリバースエンジニアリングすることで、この基盤となる予測プロセスの公開に向けて大きな一歩を踏み出した。
論文 参考訳(メタデータ) (2022-03-28T12:26:00Z) - Lattice-BERT: Leveraging Multi-Granularity Representations in Chinese
Pre-trained Language Models [62.41139712595334]
中国語のための新しい事前学習パラダイムであるLattice-BERTを提案する。
文中の文字や単語から格子グラフを構築し、これらすべてのテキスト単位をトランスフォーマーに供給します。
本モデルが12層設定で平均1.5%の増加をもたらすことを示した。
論文 参考訳(メタデータ) (2021-04-15T02:36:49Z) - Static Embeddings as Efficient Knowledge Bases? [6.166295570030645]
10言語の多様な言語の実験では、静的埋め込みに含まれる知識を研究します。
出力空間を候補集合に制限する場合、静的埋め込みを用いた単純な近接マッチングの方がPLMよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-14T19:42:20Z) - Funnel-Transformer: Filtering out Sequential Redundancy for Efficient
Language Processing [112.2208052057002]
本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。
Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
論文 参考訳(メタデータ) (2020-06-05T05:16:23Z) - Do sequence-to-sequence VAEs learn global features of sentences? [13.43800646539014]
本研究では,列列列構造を用いた自然言語用可変国語オートエンコーダ(VAE)について検討する。
VAEは最初の単語と文章の長さを記憶する傾向があり、限られた有用性を持つ局所的な特徴を生み出す。
これらの変種はよりグローバルな潜在変数、すなわちトピックや感情ラベルをより予測的に学習する。
論文 参考訳(メタデータ) (2020-04-16T14:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。