論文の概要: Learning Multi-Step Reasoning by Solving Arithmetic Tasks

• arxiv url: http://arxiv.org/abs/2306.01707v3
• Date: Wed, 7 Jun 2023 03:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 11:07:41.202035
• Title: Learning Multi-Step Reasoning by Solving Arithmetic Tasks
• Title（参考訳）: 算数課題の解法によるマルチステップ推論の学習
• Authors: Tianduo Wang and Wei Lu
• Abstract要約: 本研究では,比較的小さな言語モデルを多段階推論の能力に組み込む方法について検討する。 我々は,合成データセットMsAT上でLMを継続的に事前学習することにより,そのような能力を注入することを提案する。 提案手法の有効性を示す4つの数学単語問題データセットについて実験を行った。
• 参考スコア（独自算出の注目度）: 6.398022050054328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mathematical reasoning is regarded as a necessary ability for Language Models (LMs). Recent works demonstrate large LMs' impressive performance in solving math problems. The success is attributed to their Chain-of-Thought (CoT) reasoning abilities, i.e., the ability to decompose complex questions into step-by-step reasoning chains, but such ability seems only to emerge from models with abundant parameters. This work investigates how to incorporate relatively small LMs with the capabilities of multi-step reasoning. We propose to inject such abilities by continually pre-training LMs on a synthetic dataset MsAT which is composed of Multi-step Arithmetic Tasks. Our experiments on four math word problem datasets show the effectiveness of the proposed method in enhancing LMs' math reasoning abilities.
• Abstract（参考訳）: 数学的推論は言語モデル(LM)に必要な能力とみなされる。 最近の研究は、数学問題を解決する際に大きなlmsの印象的な性能を示す。 この成功は、複雑な質問をステップバイステップの推論チェーンに分解する能力であるCoT推論能力(Chain-of-Thought)に起因しているが、そのような能力は豊富なパラメータを持つモデルからのみ現れるようである。 本研究では, 比較的小さなLMを多段階推論機能に組み込む方法について検討する。 我々は,多段階の算術課題からなる合成データセットMsAT上で,LMを継続的に事前学習することにより,そのような能力を注入することを提案する。 4つの数学単語問題データセットに対する実験により,提案手法の有効性が示唆された。

関連論文リスト

• Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures [3.181878085746691]
  大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。 本稿では,emphCommutativity やemphIdentity などの代数的構造を捉えることによって,LLM が算術を学習することを提案する。 この結果から,代数的構造を活用することでLLMの算術的能力が向上し,算術的性能向上への洞察が得られた。
  論文  参考訳（メタデータ） (2024-11-25T10:23:11Z)
• Math Neurosurgery: Isolating Language Models' Math Reasoning Abilities Using Only Forward Passes [10.314228434999924]
  本稿では,Large Language Model (LLM)モデルにおいて,数学固有のパラメータを分離する手法であるMathNeuroを紹介した。 MathNeuroは、LLMの一般的な言語能力を破壊することなく、LLMの数学推論能力を削除する。 MathNeuro氏は、将来の研究が数学固有のパラメータに介入する可能性を強調している。
  論文  参考訳（メタデータ） (2024-10-22T12:00:58Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• AI-Assisted Generation of Difficult Math Questions [78.7547836422727]
  現在の訓練は、数学的推論をコア能力として位置づけている。 多様で挑戦的な数学の質問には、控えめな需要がある。 本稿では,LLMの強みとHuman-in-the-loopアプローチを組み合わせた設計枠組みを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:55:36Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Evaluating LLMs' Mathematical Reasoning in Financial Document Question Answering [53.56653281752486]
  本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。 数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。 半構造化文書に適した新しいプロンプト技術を導入する。
  論文  参考訳（メタデータ） (2024-02-17T05:10:18Z)
• Frugal LMs Trained to Invoke Symbolic Solvers Achieve Parameter-Efficient Arithmetic Reasoning [36.8749786658624]
  大規模言語モデル(LLM)は、スケールで発生した振る舞いとしてゼロショットの数学的推論能力を示す。 算術語問題を正規化テーマ解決タスクとして提案した場合,小さいLMでは合理的な算術的推論が可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-09T13:20:49Z)
• No Train Still Gain. Unleash Mathematical Reasoning of Large Language Models with Monte Carlo Tree Search Guided by Energy Function [3.0299876288833345]
  大きな言語モデル(LLM)は、印象的な言語理解と文脈学習能力を示している。 LLMは、解の確率が高いにもかかわらず、正しい推論ステップと答えを生成するのにしばしば苦労する。 モンテカルロ木探索 (MCTS) と軽量エネルギー関数を組み込んだ決定ステップのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2023-09-01T13:10:54Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• oLMpics -- On what Language Model Pre-training Captures [84.60594612120173]
  本研究では,比較,協調,合成などの操作を必要とする8つの推論タスクを提案する。 基本的な課題は、タスク上でのLMのパフォーマンスが、事前訓練された表現やタスクデータの微調整のプロセスに起因すべきかどうかを理解することである。
  論文  参考訳（メタデータ） (2019-12-31T12:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。