Fugu-MT 論文翻訳(概要): What Makes Math Word Problems Challenging for LLMs?

論文の概要: What Makes Math Word Problems Challenging for LLMs?

arxiv url: http://arxiv.org/abs/2403.11369v1
Date: Sun, 17 Mar 2024 23:18:40 GMT
ステータス: 処理完了
システム内更新日: 2024-03-19 17:07:30.171312
Title: What Makes Math Word Problems Challenging for LLMs?
Title（参考訳）: LLMの数学用語問題とは何なのか?
Authors: KV Aditya Srivatsa, Ekaterina Kochmar,
Abstract要約: 数学語問題(MWP)の重要な言語的・数学的特徴を詳細に分析する。大型言語モデル(LLM)におけるMWPの全体的な難しさに対する各特徴の影響をよりよく理解するために、特徴ベースの分類器を訓練する。
参考スコア（独自算出の注目度）: 5.153388971862429
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates the question of what makes math word problems (MWPs) challenging for large language models (LLMs). We conduct an in-depth analysis of the key linguistic and mathematical characteristics of MWPs. In addition, we train feature-based classifiers to better understand the impact of each feature on the overall difficulty of MWPs for prominent LLMs and investigate whether this helps predict how well LLMs fare against specific categories of MWPs.
Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) において,数学語問題 (MWP) がなぜ難しいのかを考察する。 MWPの重要な言語的特徴と数学的特徴を詳細に分析する。さらに、特徴に基づく分類器を訓練し、各特徴がMWPの難易度全体に与える影響をよりよく理解し、それがMWPの特定のカテゴリに対するLLMの精度予測に役立つかどうかを検討する。

関連論文リスト

Not All LLM Reasoners Are Created Equal [58.236453890457476]
小学校数学におけるLLMの解答能力の深さについて検討する。既存の数式語問題に対して,それらの性能を併用して評価する。
論文参考訳（メタデータ） (2024-10-02T17:01:10Z)
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文参考訳（メタデータ） (2024-05-30T18:07:13Z)
Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
数学語問題(MWP)は、大規模言語モデル(LLM)の能力を評価する上で重要な役割を果たす。より長い文脈が数学的推論に与える影響は未解明のままである。本研究は文脈長一般化可能性(CoLeG)の研究の先駆者である。
論文参考訳（メタデータ） (2024-05-23T17:13:50Z)
Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem [58.3723958800254]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて非常に効果的である。それらは幻覚と呼ばれる曖昧な文脈で信頼できない予想を生じさせる可能性がある。本稿では,不問答語問題(MWP)に基づく質問回答(QA)におけるLLM幻覚評価手法を提案する。
論文参考訳（メタデータ） (2024-03-06T09:06:34Z)
Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文参考訳（メタデータ） (2024-02-06T03:18:58Z)
MWP-BERT: A Strong Baseline for Math Word Problems [47.51572465676904]
数学語問題(英: Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
論文参考訳（メタデータ） (2021-07-28T15:28:41Z)
A Diverse Corpus for Evaluating and Developing English Math Word Problem Solvers [10.244215079409797]
本稿では,多種多様(言語パターンと問題型の両方)の英算語問題 (MWP) コーパスについて述べる。 AIの進歩を研究するための既存のMWPコーパスは、言語の使用パターンや問題タイプに制限されている。そこで本研究では,2,305 MWP を用いた英語 MWP コーパスを提案する。
論文参考訳（メタデータ） (2021-06-30T01:54:11Z)
Are NLP Models really able to Solve Simple Math Word Problems? [7.433931244705934]
MWP で質問された質問にアクセスできない MWP の解法は依然として MWP の大部分を解けることを示す。既存のデータセットから抽出したサンプルに対して、慎重に選択されたバリエーションを適用して作成するチャレンジデータセットSVAMPを導入する。最先端モデルによって達成される最高の精度はSVAMPよりも大幅に低いため、MWPの最も単純なモデルでも多くの処理が可能であることが示される。
論文参考訳（メタデータ） (2021-03-12T10:23:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。