論文の概要: Understanding Arithmetic Reasoning in Language Models using Causal
Mediation Analysis
- arxiv url: http://arxiv.org/abs/2305.15054v1
- Date: Wed, 24 May 2023 11:43:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 16:27:16.698650
- Title: Understanding Arithmetic Reasoning in Language Models using Causal
Mediation Analysis
- Title(参考訳): 因果メディエーション分析を用いた言語モデルにおける算数推論の理解
- Authors: Alessandro Stolfo, Yonatan Belinkov, Mrinmaya Sachan
- Abstract要約: 算術的質問に対する大規模言語モデル(LLM)の機械論的解釈を提案する。
異なる大きさ(2.8Bおよび6Bパラメータ)の事前学習言語モデルの解析を行う。
実験結果から,中間層の小さな集合が算術的質問の予測に大きく影響していることが判明した。
- 参考スコア(独自算出の注目度): 104.50791267513893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mathematical reasoning in large language models (LLMs) has garnered attention
in recent research, but there is limited understanding of how these models
process and store information related to arithmetic tasks. In this paper, we
present a mechanistic interpretation of LLMs for arithmetic-based questions
using a causal mediation analysis framework. By intervening on the activations
of specific model components and measuring the resulting changes in predicted
probabilities, we identify the subset of parameters responsible for specific
predictions. We analyze two pre-trained language models with different sizes
(2.8B and 6B parameters). Experimental results reveal that a small set of
mid-late layers significantly affect predictions for arithmetic-based
questions, with distinct activation patterns for correct and wrong predictions.
We also investigate the role of the attention mechanism and compare the model's
activation patterns for arithmetic queries with the prediction of factual
knowledge. Our findings provide insights into the mechanistic interpretation of
LLMs for arithmetic tasks and highlight the specific components involved in
arithmetic reasoning.
- Abstract(参考訳): 近年,大規模言語モデル (LLM) における数学的推論が注目されているが,これらのモデルがどのように処理し,算術的タスクに関連する情報を格納しているかは限定的に理解されている。
本稿では,因果媒介分析フレームワークを用いた算術的質問に対するLLMの機械論的解釈を提案する。
特定のモデルコンポーネントのアクティベーションに介入し、予測される確率の変化を測定することで、特定の予測に責任のあるパラメータのサブセットを識別する。
異なる大きさ(2.8Bおよび6Bパラメータ)の事前学習言語モデルを分析する。
実験結果から,中間層の小さな集合が算術に基づく質問の予測に大きく影響し,正しい予測と間違った予測のアクティベーションパターンが異なることが明らかとなった。
また、注意機構の役割についても検討し、算術的クエリに対するモデルのアクティベーションパターンと事実知識の予測を比較した。
本研究は,算術的タスクに対する LLM の機械的解釈に関する知見を提供し,算術的推論に関わる特定の要素を強調した。
関連論文リスト
- Transformer-based Causal Language Models Perform Clustering [20.430255724239448]
簡単な指示追従タスクを導入し、合成データセットを用いてトランスフォーマーに基づく因果言語モデルを分析する。
本研究は,本モデルが隠れ空間内のデータをクラスタリングすることで,タスク固有の情報を学習し,学習中にこのクラスタリングプロセスが動的に進化することを示唆している。
論文 参考訳(メタデータ) (2024-02-19T14:02:31Z) - A Thorough Examination of Decoding Methods in the Era of LLMs [76.30313058201182]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-10T11:14:53Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Tracing and Manipulating Intermediate Values in Neural Math Problem
Solvers [29.957075459315384]
複数の推論ステップを必要とする複雑な入力を、言語モデルがどのように処理するかは、よく理解されていない。
これまでの研究では、これらの入力の中間値に関する情報はモデルの活性化から抽出できることが示されている。
本稿では、簡単な算術問題とその中間値に着目して、トランスフォーマーモデルがこれらの入力をどのように処理するかを分析する手法を提案する。
論文 参考訳(メタデータ) (2023-01-17T08:46:50Z) - Relational Local Explanations [11.679389861042]
我々は,入力変数間の関係解析に基づく,新しいモデルに依存しない,置換に基づく特徴帰属アルゴリズムを開発した。
機械学習のモデル決定とデータについて、より広範な洞察を得ることができます。
論文 参考訳(メタデータ) (2022-12-23T14:46:23Z) - Explainability in Process Outcome Prediction: Guidelines to Obtain
Interpretable and Faithful Models [77.34726150561087]
本稿では、プロセス結果予測の分野における説明可能性モデルと説明可能性モデルの忠実性を通して、説明可能性を定義する。
本稿では,イベントログの仕様に基づいて適切なモデルを選択することのできる,X-MOPというガイドラインのセットを提案する。
論文 参考訳(メタデータ) (2022-03-30T05:59:50Z) - Learning Operators with Coupled Attention [9.715465024071333]
本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。
我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。
これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
論文 参考訳(メタデータ) (2022-01-04T08:22:03Z) - Sorting through the noise: Testing robustness of information processing
in pre-trained language models [5.371816551086117]
本稿では,意図しないコンテンツに関連性のあるコンテキスト情報を配置するモデルの頑健さについて検討する。
モデルが従来の文脈から関連する事実を理解・適用するために単純な文脈に現れるが、注意散らしながら無関係なコンテンツの存在は、混乱したモデル予測に明らかな影響を与えている。
論文 参考訳(メタデータ) (2021-09-25T16:02:23Z) - Understanding Attention in Machine Reading Comprehension [56.72165932439117]
本稿では,多面的自己意識と最終的なパフォーマンスとの関係を検討するために,一連の分析実験を実施することに焦点を当てる。
SQuAD(英語)とCMRC 2018(中国語)の定量的解析を行い、BERT, ALBERT, ELECTRAの2つのスパン抽出MCCデータセットについて検討した。
本研究は, 問合せ及び問合せに対する注意が最重要であり, 最終結果と強い相関関係を示すものであることを明らかにする。
論文 参考訳(メタデータ) (2021-08-26T04:23:57Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳(メタデータ) (2021-07-22T20:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。