論文の概要: Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models

• arxiv url: http://arxiv.org/abs/2403.19521v4
• Date: Fri, 24 May 2024 15:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 20:37:11.428786
• Title: Interpreting Key Mechanisms of Factual Recall in Transformer-Based Language Models
• Title（参考訳）: 変圧器に基づく言語モデルにおけるファクチュアルリコールのメカニズムの解釈
• Authors: Ang Lv, Yuhan Chen, Kaiyi Zhang, Yulong Wang, Lifeng Liu, Ji-Rong Wen, Jian Xie, Rui Yan,
• Abstract要約: 本研究では,トランスフォーマーベース言語モデル(LLM)を用いて,現実的なリコール処理を行うメカニズムについて検討する。 出力の出力を人間の理解するコンポーネントに分解することを目的とした,新しい分析手法を提案する。 我々は、事実的リコールの信頼性を高めるために、私たちの解釈を活用することで、この抑制を緩和する。
• 参考スコア（独自算出の注目度）: 68.83330172211315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we delve into several mechanisms employed by Transformer-based language models (LLMs) for factual recall tasks. We outline a pipeline consisting of three major steps: (1) Given a prompt ``The capital of France is,'' task-specific attention heads extract the topic token, such as ``France,'' from the context and pass it to subsequent MLPs. (2) As attention heads' outputs are aggregated with equal weight and added to the residual stream, the subsequent MLP acts as an ``activation,'' which either erases or amplifies the information originating from individual heads. As a result, the topic token ``France'' stands out in the residual stream. (3) A deep MLP takes ``France'' and generates a component that redirects the residual stream towards the direction of the correct answer, i.e., ``Paris.'' This procedure is akin to applying an implicit function such as ``get\_capital($X$),'' and the argument $X$ is the topic token information passed by attention heads. To achieve the above quantitative and qualitative analysis for MLPs, we proposed a novel analytic method aimed at decomposing the outputs of the MLP into components understandable by humans. Additionally, we observed a universal anti-overconfidence mechanism in the final layer of models, which suppresses correct predictions. We mitigate this suppression by leveraging our interpretation to improve factual recall confidence. The above interpretations are evaluated across diverse tasks spanning various domains of factual knowledge, using various language models from the GPT-2 families, 1.3B OPT, up to 7B Llama-2, and in both zero- and few-shot setups.
• Abstract（参考訳）: 本稿では,Transformer-based language model (LLMs) を用いて,現実的なリコール処理を行う機構について検討する。 1) 「フランスの首都はここにある」というプロンプトを与えられた場合、「フランス」のようなトピックトークンを文脈から抽出し、後続のMPPに渡す。 2)アテンションヘッドの出力は等しい重量で集約され、残ストリームに追加されるので、その後のMLPは、個々のヘッドから派生した情報を消去または増幅する''アクティベーション'として機能する。 その結果、トピックトークン ``France'' が残留ストリームで際立っている。 (3) 深いMLPは ``France' を受け取り、残りのストリームを正しい回答の方向、すなわち ``Paris' にリダイレクトするコンポーネントを生成する。 '' このプロシージャは ``get\_capital($X$,'' のような暗黙の関数を適用するのに似ており、引数 $X$ はアテンションヘッドによって渡されるトピックトークン情報である。 そこで本研究では,MLPの出力を人間の理解するコンポーネントに分解する手法を提案する。 さらに,モデルの最終層において,正しい予測を抑える普遍的反過信機構が観察された。 我々は、事実的リコールの信頼性を高めるために、この解釈を活用することで、この抑制を緩和する。 上記の解釈は, GPT-2ファミリー, 1.3B OPT, 最大7B Llama-2, ゼロショットおよび少数ショット設定の様々な言語モデルを用いて, 事実知識の領域にまたがる様々なタスクにまたがって評価される。

関連論文リスト

• The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models [24.144513068228903]
  本稿では,インプット介入に基づく信頼度テストに使用できる指標である相関説明忠実度(CEF)について紹介する。 我々の測定基準は、モデルが予測するラベル分布の総シフトを考慮に入れている。 次に, 相関対実テスト(CCT)を導入し, 相関対実テスト(CEF)をインスタンス化する。
  論文  参考訳（メタデータ） (2024-04-04T04:20:04Z)
• Linguistic-Based Mild Cognitive Impairment Detection Using Informative Loss [2.8893654860442872]
  我々は,I-CONECT研究プロジェクト内で収集された映像インタビューから生成されたテキストを解析するフレームワークを提案する。 我々のフレームワークは、平均面積84.75%のMCIとNCを区別することができる。
  論文  参考訳（メタデータ） (2024-01-23T16:30:22Z)
• Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
  ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。 そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。 NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
  論文  参考訳（メタデータ） (2023-06-16T09:40:05Z)
• Multi-resolution Interpretation and Diagnostics Tool for Natural Language Classifiers [0.0]
  本稿では,意味論的に相互に関連のある単語のセグメントやクラスタによって,よりフレキシブルなモデル説明可能性要約を作成することを目的とする。 さらに,NLPモデルの根本原因分析手法を提案し,各セグメントのFalse PositiveとFalse Negativeを解析した。
  論文  参考訳（メタデータ） (2023-03-06T22:59:02Z)
• SpArX: Sparse Argumentative Explanations for Neural Networks [Technical Report] [14.787292425343527]
  我々は、多層パーセプトロン(MLP)と定量的議論フレームワーク(QAF)の関係を利用して、ニューラルネットワーク(NN)の力学に関する議論的な説明を作成する。 当社のSpArX法は,まず,元の構造をできるだけ多く維持しながらスパースを分散させ,その後に翻訳し,グローバルおよび/またはローカルな説明を生成する。 実験により、SpArXは既存のアプローチよりも忠実に説明でき、同時にニューラルネットワークの実際の推論プロセスについて深い洞察を提供する。
  論文  参考訳（メタデータ） (2023-01-23T17:20:25Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)
• Trojaning Language Models for Fun and Profit [53.45727748224679]
  TROJAN-LMは、悪質に製作されたLMがホストNLPシステムを故障させる新しいタイプのトロイの木馬攻撃である。 セキュリティクリティカルなNLPタスクにおいて、3つの最先端のLMを実証的に研究することにより、TROJAN-LMが以下の特性を持つことを示す。
  論文  参考訳（メタデータ） (2020-08-01T18:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。