論文の概要: Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models
- arxiv url: http://arxiv.org/abs/2403.19521v1
- Date: Thu, 28 Mar 2024 15:54:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 15:34:50.632341
- Title: Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models
- Title(参考訳): 変圧器に基づく言語モデルにおけるファクチュアルリコールのメカニズムの解釈
- Authors: Ang Lv, Kaiyi Zhang, Yuhan Chen, Yulong Wang, Lifeng Liu, Ji-Rong Wen, Jian Xie, Rui Yan,
- Abstract要約: 本稿では,Transformer ベースの言語モデルを用いて,実際のリコールタスクに使用するメカニズムについて検討する。
ゼロショットのシナリオでは、"The capital of France is"のようなプロンプトが与えられ、タスク固有の注意がトピックを抽出し、後続のドメインに渡す。
モデルの最終層に広く存在するメカニズムを観察し、正しい予測を抑える。
- 参考スコア(独自算出の注目度): 68.83330172211315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we deeply explore the mechanisms employed by Transformer-based language models in factual recall tasks. In zero-shot scenarios, given a prompt like "The capital of France is," task-specific attention heads extract the topic entity, such as "France," from the context and pass it to subsequent MLPs to recall the required answer such as "Paris." We introduce a novel analysis method aimed at decomposing the outputs of the MLP into components understandable by humans. Through this method, we quantify the function of the MLP layer following these task-specific heads. In the residual stream, it either erases or amplifies the information originating from individual heads. Moreover, it generates a component that redirects the residual stream towards the direction of its expected answer. These zero-shot mechanisms are also employed in few-shot scenarios. Additionally, we observed a widely existent anti-overconfidence mechanism in the final layer of models, which suppresses correct predictions. We mitigate this suppression by leveraging our interpretation to improve factual recall performance. Our interpretations have been evaluated across various language models, from the GPT-2 families to 1.3B OPT, and across tasks covering different domains of factual knowledge.
- Abstract(参考訳): 本稿では,トランスフォーマーに基づく言語モデルを用いて,現実的なリコールタスクにおいて採用されるメカニズムについて深く検討する。
ゼロショットのシナリオでは、"The capital of France is"のようなプロンプトが与えられた場合、タスク固有のアテンションヘッドは、コンテキストから"France"のようなトピックエンティティを抽出し、"Paris"のような要求された回答をリコールするために後続のMLPに渡す。
本稿では,MLPの出力を人間によって理解可能なコンポーネントに分解することを目的とした新しい分析手法を提案する。
本手法により,これらのタスク固有ヘッドに追従するMLP層の関数を定量化する。
残留ストリームでは、個々のヘッドから派生した情報を消去または増幅する。
さらに、残りのストリームを期待する回答の方向に向けてリダイレクトするコンポーネントを生成する。
これらのゼロショット機構は、数ショットのシナリオでも使用される。
さらに、モデルの最終層に広く存在する反過信機構を観察し、正しい予測を抑える。
我々はこの抑制を、現実のリコール性能を改善するために解釈を活用することで緩和する。
我々の解釈は GPT-2 family から 1.3B OPT まで様々な言語モデルで評価されてきた。
関連論文リスト
- Linguistic-Based Mild Cognitive Impairment Detection Using Informative
Loss [2.8893654860442872]
我々は,I-CONECT研究プロジェクト内で収集された映像インタビューから生成されたテキストを解析するフレームワークを提案する。
我々のフレームワークは、平均面積84.75%のMCIとNCを区別することができる。
論文 参考訳(メタデータ) (2024-01-23T16:30:22Z) - "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of
Abstract Meaning Representation [60.863629647985526]
文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。
モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。
全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
論文 参考訳(メタデータ) (2023-10-26T21:47:59Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Counterfactuals of Counterfactuals: a back-translation-inspired approach
to analyse counterfactual editors [3.4253416336476246]
我々は、反事実的、対照的な説明の分析に焦点をあてる。
本稿では,新しい逆翻訳に基づく評価手法を提案する。
本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
論文 参考訳(メタデータ) (2023-05-26T16:04:28Z) - Language Models Implement Simple Word2Vec-style Vector Arithmetic [32.2976613483151]
言語モデル(LM)に対する主要な批判は、その調査性である。
本稿では,その大きさと複雑さにもかかわらず,LMは単純なベクトル演算方式を用いて,いくつかのリレーショナルタスクを解くことの証拠を提示する。
論文 参考訳(メタデータ) (2023-05-25T15:04:01Z) - Shapley Head Pruning: Identifying and Removing Interference in
Multilingual Transformers [54.4919139401528]
言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。
固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
論文 参考訳(メタデータ) (2022-10-11T18:11:37Z) - Self-conditioning pre-trained language models [2.105564340986074]
本稿では,TLMに自然に存在する専門家ユニットを利用する生成機構について述べる。
驚くほど少量のユニットのアクティベートがテキスト生成を操るのに十分であることがわかった。
提案手法は, TLMの出力に存在する性別バイアスの補正に有効であることを示す。
論文 参考訳(メタデータ) (2021-09-30T11:18:19Z) - A New Entity Extraction Method Based on Machine Reading Comprehension [4.92025078254413]
本稿では,MRC-I2DP を用いた有効実体抽出モデルを提案する。
提案手法は,テキストペアの各部分の復元を調整するために,ゲート付きアテンション抽出機構を用いている。
また、提案した2次元確率符号化モジュール、TALU関数、マスク機構を使用して、ターゲットの可能なすべてのターゲットの検出を強化する。
論文 参考訳(メタデータ) (2021-08-14T02:11:41Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-09T10:55:27Z) - Is Supervised Syntactic Parsing Beneficial for Language Understanding?
An Empirical Investigation [71.70562795158625]
従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。
近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。
本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
論文 参考訳(メタデータ) (2020-08-15T21:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。