Fugu-MT 論文翻訳(概要): Teaching-Inspired Integrated Prompting Framework: A Novel Approach for Enhancing Reasoning in Large Language Models

論文の概要: Teaching-Inspired Integrated Prompting Framework: A Novel Approach for Enhancing Reasoning in Large Language Models

arxiv url: http://arxiv.org/abs/2410.08068v1
Date: Thu, 10 Oct 2024 16:02:36 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 05:35:21.369668
Title: Teaching-Inspired Integrated Prompting Framework: A Novel Approach for Enhancing Reasoning in Large Language Models
Title（参考訳）: 教師インスパイアされた統合型プロンプティングフレームワーク:大規模言語モデルにおける推論の強化のための新しいアプローチ
Authors: Wenting Tan, Dongxiao Chen, Jieting Xue, Zihao Wang, Taijie Chen,
Abstract要約: 大規模言語モデル(LLM)は、様々な領域で優れたパフォーマンスを示すが、算術的推論タスクに苦戦している。近年の研究では,推理能力向上における迅速な設計手法の有効性が示されている。本稿では,教師が指導する指導過程をエミュレートした,新しい効果的な指導インスパイアされた統合フレームワークを提案する。
参考スコア（独自算出の注目度）: 8.370453544530914
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) exhibit impressive performance across various domains but still struggle with arithmetic reasoning tasks. Recent work shows the effectiveness of prompt design methods in enhancing reasoning capabilities. However, these approaches overlook crucial requirements for prior knowledge of specific concepts, theorems, and tricks to tackle most arithmetic reasoning problems successfully. To address this issue, we propose a novel and effective Teaching-Inspired Integrated Framework, which emulates the instructional process of a teacher guiding students. This method equips LLMs with essential concepts, relevant theorems, and similar problems with analogous solution approaches, facilitating the enhancement of reasoning abilities. Additionally, we introduce two new Chinese datasets, MathMC and MathToF, both with detailed explanations and answers. Experiments are conducted on nine benchmarks which demonstrates that our approach improves the reasoning accuracy of LLMs. With GPT-4 and our framework, we achieve new state-of-the-art performance on four math benchmarks (AddSub, SVAMP, Math23K and AQuA) with accuracies of 98.2% (+3.3%), 93.9% (+0.2%), 94.3% (+7.2%) and 81.1% (+1.2%). Our data and code are available at https://github.com/SallyTan13/Teaching-Inspired-Prompting.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で優れたパフォーマンスを示すが、算術的推論タスクに苦戦している。近年の研究では,推理能力向上における迅速な設計手法の有効性が示されている。しかし、これらのアプローチは、特定の概念、定理、トリックの事前知識に対する重要な要件を見落とし、ほとんどの算術的推論問題にうまく取り組む。この問題に対処するために,教師指導の指導過程をエミュレートした,新しく効果的な指導インスパイアされた統合フレームワークを提案する。この手法は LLM に本質的な概念、関連する定理、類似の解法による類似の問題を備え、推論能力の強化を促進する。さらに,2つの中国語データセットであるMathMCとMathToFを紹介し,詳細な説明と回答を行った。 LLMの推論精度が向上することを示すため,9つのベンチマークで実験を行った。 GPT-4と我々のフレームワークは、98.2%(+3.3%)、93.9%(+0.2%)、94.3%(+7.2%)、81.1%(+1.2%)の4つのベンチマーク(AddSub、SVAMP、Math23K、AQuA)で、新しい最先端のパフォーマンスを実現している。私たちのデータとコードはhttps://github.com/SallyTan13/Teaching-Inspired-Prompting.comで公開されています。

関連論文リスト

Give me a hint: Can LLMs take a hint to solve math problems? [0.5742190785269342]
本稿では,先進的な数学的問題に対する言語モデルの性能向上のための"ヒント"を提案する。また、敵のヒントに対する堅牢性をテストし、それらに対する感受性を示す。
論文参考訳（メタデータ） (2024-10-08T11:09:31Z)
BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search [22.672130194493793]
大規模言語モデル(LLM)は、幅広いタスクやドメインで例外的なパフォーマンスを示している。彼らは数学の厳密で論理的な性質のため、数学の問題を解くのに依然として困難に直面している。本稿では,数学的問題解決能力を高めるための新しい手法BEATSを提案する。
論文参考訳（メタデータ） (2024-09-26T15:47:42Z)
Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
論文参考訳（メタデータ） (2024-04-23T12:16:05Z)
GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
論文参考訳（メタデータ） (2024-02-29T15:26:14Z)
MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [85.50740598523818]
MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。 5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
論文参考訳（メタデータ） (2024-02-14T05:57:58Z)
Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models [122.19845578690466]
Step-Back Promptingは、LLMが抽象化を行い、特定の詳細を含むインスタンスから高レベルの概念と第一原則を導出することを可能にする。推論を導くために概念と原則を用いることで、LLMはソリューションへの正しい推論パスに従うことで、その能力を大幅に向上します。
論文参考訳（メタデータ） (2023-10-09T19:48:55Z)
MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
論文参考訳（メタデータ） (2023-03-04T04:43:49Z)
Teaching Algorithmic Reasoning via In-context Learning [45.45116247046013]
本研究では,大規模言語モデル (LLM) に対して,文脈内学習によりアルゴリズム推論を教えることができることを示す。我々は,様々な算術的および定量的推論タスクに対するアプローチを評価する。最良ベースラインと比較して,約10x,9x,5x,2xの誤差低減を実現した。
論文参考訳（メタデータ） (2022-11-15T06:12:28Z)
Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。 LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文参考訳（メタデータ） (2022-10-31T17:41:26Z)
Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
論文参考訳（メタデータ） (2022-06-06T03:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。