論文の概要: Can LLMs Solve longer Math Word Problems Better?

• arxiv url: http://arxiv.org/abs/2405.14804v1
• Date: Thu, 23 May 2024 17:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 13:37:09.744804
• Title: Can LLMs Solve longer Math Word Problems Better?
• Title（参考訳）: LLMはより長い数学的単語問題を解けるか?
• Authors: Xin Xu, Tong Xiao, Zitong Chao, Zhenya Huang, Can Yang, Yang Wang,
• Abstract要約: 大規模言語モデル(LLM)の能力評価にはMWP(Math Word Problems)が不可欠である この研究は、文脈長一般化可能性(CoLeG)の探索の先駆者である。 これらの問題を解決する上で, LLMの有効性とレジリエンスを評価するために, 2つの新しい指標が提案されている。
• 参考スコア（独自算出の注目度）: 47.227621867242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Math Word Problems (MWPs) are crucial for evaluating the capability of Large Language Models (LLMs), with current research primarily focusing on questions with concise contexts. However, as real-world math problems often involve complex circumstances, LLMs' ability to solve long MWPs is vital for their applications in these scenarios, yet remains under-explored. This study pioneers the exploration of Context Length Generalizability (CoLeG), the ability of LLMs to solve long MWPs. We introduce Extended Grade-School Math (E-GSM), a collection of MWPs with lengthy narratives. Two novel metrics are proposed to assess the efficacy and resilience of LLMs in solving these problems. Our examination of existing zero-shot prompting techniques and both proprietary and open-source LLMs reveals a general deficiency in CoLeG. To alleviate these challenges, we propose distinct approaches for different categories of LLMs. For proprietary LLMs, a new instructional prompt is proposed to mitigate the influence of long context. For open-source LLMs, a new data augmentation task is developed to improve CoLeG. Our comprehensive results demonstrate the effectiveness of our proposed methods, showing not only improved performance on E-GSM but also generalizability across several other MWP benchmarks. Our findings pave the way for future research in employing LLMs for complex, real-world applications, offering practical solutions to current limitations and opening avenues for further exploration of model generalizability and training methodologies.
• Abstract（参考訳）: 数学語問題(MWP)は、大規模言語モデル(LLM)の能力を評価する上で重要である。 しかし、現実の数学の問題は複雑な状況を伴うことが多いため、LLMが長いMWPを解く能力はこれらのシナリオでの応用には不可欠である。 この研究は、LLMが長いMWPを解く能力であるコンテキスト長一般化可能性(CoLeG)の探索の先駆者である。 長大な物語を持つMWPの集合であるE-GSM(Extended Grade-School Math)を紹介する。 これらの問題を解決する上で, LLMの有効性とレジリエンスを評価するために, 2つの新しい指標が提案されている。 既存のゼロショットプロンプト技術およびプロプライエタリおよびオープンソース LLM の検証により,CoLeG の欠如が明らかとなった。 これらの課題を軽減するために, LLMの異なるカテゴリに対して, 異なるアプローチを提案する。 プロプライエタリなLLMでは、長いコンテキストの影響を軽減するために、新しい命令プロンプトが提案されている。 オープンソースのLLMでは、CoLeGを改善するために新しいデータ拡張タスクが開発されている。 提案手法の有効性を総合的に検証し,E-GSMの性能向上だけでなく,他のMWPベンチマークの一般化可能性も示す。 我々の研究は,LLMを複雑な実世界の応用に適用し,現在の限界に対する実践的な解決策を提供し,モデル一般化可能性とトレーニング方法論のさらなる探求を行うための道を開くという今後の研究の道を開くものである。

関連論文リスト

• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• A Reality check of the benefits of LLM in business [1.9181612035055007]
  大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。 ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
  論文  参考訳（メタデータ） (2024-06-09T02:36:00Z)
• Adversarial Math Word Problem Generation [6.92510069380188]
  大規模言語モデル(LLM)の公平な評価を保証するための新しいパラダイムを提案する。 評価を目的とした質問の構造と難易度を保持する逆例を生成するが,LLMでは解けない。 我々は様々なオープン・クローズド・ソース LLM の実験を行い、定量的かつ質的に、我々の手法が数学の問題解決能力を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2024-02-27T22:07:52Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• A Comprehensive Overview of Large Language Models [68.22178313875618]
  大規模言語モデル(LLM)は、最近自然言語処理タスクにおいて顕著な機能を示した。 本稿では, LLM関連概念の幅広い範囲について, 既存の文献について概説する。
  論文  参考訳（メタデータ） (2023-07-12T20:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。