論文の概要: A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis
- arxiv url: http://arxiv.org/abs/2305.15054v2
- Date: Fri, 20 Oct 2023 12:13:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 05:44:52.624180
- Title: A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis
- Title(参考訳): 因果メディエーション分析を用いた言語モデルにおける算数推論の機械論的解釈
- Authors: Alessandro Stolfo, Yonatan Belinkov, Mrinmaya Sachan
- Abstract要約: 算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
- 参考スコア(独自算出の注目度): 128.0532113800092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mathematical reasoning in large language models (LMs) has garnered
significant attention in recent work, but there is a limited understanding of
how these models process and store information related to arithmetic tasks
within their architecture. In order to improve our understanding of this aspect
of language models, we present a mechanistic interpretation of
Transformer-based LMs on arithmetic questions using a causal mediation analysis
framework. By intervening on the activations of specific model components and
measuring the resulting changes in predicted probabilities, we identify the
subset of parameters responsible for specific predictions. This provides
insights into how information related to arithmetic is processed by LMs. Our
experimental results indicate that LMs process the input by transmitting the
information relevant to the query from mid-sequence early layers to the final
token using the attention mechanism. Then, this information is processed by a
set of MLP modules, which generate result-related information that is
incorporated into the residual stream. To assess the specificity of the
observed activation dynamics, we compare the effects of different model
components on arithmetic queries with other tasks, including number retrieval
from prompts and factual knowledge questions.
- Abstract(参考訳): 大規模言語モデル(lms)における数学的推論は、最近の研究で大きな注目を集めているが、これらのモデルがどのようにして算術タスクに関連する情報をアーキテクチャ内で処理し保存するかについての理解は限られている。
言語モデルにおけるこの側面の理解を深めるために, 因果的調停分析フレームワークを用いて, 算術問題に対する変圧器に基づくlmsの機械的解釈を提案する。
特定のモデルコンポーネントのアクティベーションに介入し、予測される確率の変化を測定することで、特定の予測に責任のあるパラメータのサブセットを識別する。
これにより、算術に関する情報がlsmによってどのように処理されるかに関する洞察が得られる。
実験の結果, lmsは, 問合せに関する情報を初期層から最終トークンにアテンション機構を用いて送信することで入力を処理できることが示されている。
そして、この情報を一連のMLPモジュールで処理し、残ストリームに組み込まれた結果関連情報を生成する。
観測されたアクティベーションダイナミクスの特異性を評価するために、異なるモデルコンポーネントが演算クエリに与える影響を、プロンプトからの数値検索や事実知識質問を含む他のタスクと比較する。
関連論文リスト
- A Thorough Examination of Decoding Methods in the Era of LLMs [76.30313058201182]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-10T11:14:53Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - A Mechanism for Solving Relational Tasks in Transformer Language Models [36.29933464955979]
言語モデル(LM)に対する主要な批判は、その調査性である。
本稿では,そのサイズと複雑さにもかかわらず,一対一のリレーショナルタスクを解くための単純な計算機構を利用する場合があることを示す。
論文 参考訳(メタデータ) (2023-05-25T15:04:01Z) - Tracing and Manipulating Intermediate Values in Neural Math Problem
Solvers [29.957075459315384]
複数の推論ステップを必要とする複雑な入力を、言語モデルがどのように処理するかは、よく理解されていない。
これまでの研究では、これらの入力の中間値に関する情報はモデルの活性化から抽出できることが示されている。
本稿では、簡単な算術問題とその中間値に着目して、トランスフォーマーモデルがこれらの入力をどのように処理するかを分析する手法を提案する。
論文 参考訳(メタデータ) (2023-01-17T08:46:50Z) - Relational Local Explanations [11.679389861042]
我々は,入力変数間の関係解析に基づく,新しいモデルに依存しない,置換に基づく特徴帰属アルゴリズムを開発した。
機械学習のモデル決定とデータについて、より広範な洞察を得ることができます。
論文 参考訳(メタデータ) (2022-12-23T14:46:23Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Learning Operators with Coupled Attention [9.715465024071333]
本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
論文 参考訳(メタデータ) (2022-01-04T08:22:03Z) - Sorting through the noise: Testing robustness of information processing
in pre-trained language models [5.371816551086117]
本稿では,意図しないコンテンツに関連性のあるコンテキスト情報を配置するモデルの頑健さについて検討する。
モデルが従来の文脈から関連する事実を理解・適用するために単純な文脈に現れるが、注意散らしながら無関係なコンテンツの存在は、混乱したモデル予測に明らかな影響を与えている。
論文 参考訳(メタデータ) (2021-09-25T16:02:23Z) - Understanding Attention in Machine Reading Comprehension [56.72165932439117]
本稿では,多面的自己意識と最終的なパフォーマンスとの関係を検討するために,一連の分析実験を実施することに焦点を当てる。
SQuAD(英語)とCMRC 2018(中国語)の定量的解析を行い、BERT, ALBERT, ELECTRAの2つのスパン抽出MCCデータセットについて検討した。
本研究は, 問合せ及び問合せに対する注意が最重要であり, 最終結果と強い相関関係を示すものであることを明らかにする。
論文 参考訳(メタデータ) (2021-08-26T04:23:57Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳(メタデータ) (2021-07-22T20:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。