論文の概要: From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision
- arxiv url: http://arxiv.org/abs/2403.14390v1
- Date: Thu, 21 Mar 2024 13:29:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:09:01.294056
- Title: From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision
- Title（参考訳）: 大から小へ:弱スーパービジョンによる数学語問題に対する数学的専門知識の蒸留と精製
- Authors: Qingwen Lin, Boyan Xu, Zhengting Huang, Ruichu Cai,
- Abstract要約: 本稿では,大規模言語モデルから小型言語モデルへの数学的知識の伝達を徹底的に行う,革新的な2段階のフレームワークを提案する。
提案手法は,探索型'確率方程式'ペアにおける意味理解機能を完全に活用する。
Math23KとWeak12Kデータセットでは、既存の小さなモデルメソッドと比較して大幅にパフォーマンスが向上している。
- 参考スコア（独自算出の注目度）: 12.023661884821554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Addressing the challenge of high annotation costs in solving Math Word Problems (MWPs) through full supervision with intermediate equations, recent works have proposed weakly supervised task settings that rely solely on the final answer as a supervised signal. Existing leading approaches typically employ various search techniques to infer intermediate equations, but cannot ensure their semantic consistency with natural language descriptions. The rise of Large Language Models (LLMs) like ChatGPT has opened up new possibilities for addressing MWPs directly. However, the computational demands of LLMs make them less than ideal for use in settings where resources are tight. In light of these challenges, we introduce an innovative two-stage framework that adeptly transfers mathematical Expertise from large to tiny language models. In \emph{Distillation Stage}, we propose a series of extraction processes that satisfy the properties of MWPs to distill mathematical knowledge from LLMs to construct problem-equation pairs required for supervised training. In \emph{Refinement Stage}, Due to Knowledge distilling method cannot guarantee the full utilization of all data, we further utilize the unsuccessfully searched data effectively by Knowledge Refine method. Finally, We train a small model using distilled data generated through two-stage methods. As our method fully leverages the semantic understanding capabilities during the searching 'problem-equation' pair, it demonstrates significantly improved performance on the Math23K and Weak12K datasets compared to existing small model methods, while maintaining a much lower computational cost than ChatGPT.
- Abstract（参考訳）: 数学語問題(MWP)の解法における高アノテーションコストの課題に対して,近年の研究では,最終回答のみを教師付き信号として依存する弱教師付きタスク設定が提案されている。
既存の先導的なアプローチは、典型的には中間方程式を推論するために様々な検索技法を用いるが、自然言語記述とのセマンティックな整合性を保証することはできない。
ChatGPTのような大規模言語モデル(LLM)の台頭は、MWPに直接対処する新たな可能性を開いた。
しかし、LLMの計算要求により、資源が密接な環境での使用には理想的ではない。
これらの課題を踏まえて,大規模から小型の言語モデルから数学的専門家を積極的に移行する,革新的な2段階のフレームワークを導入する。
本稿では,LLMから数学的知識を抽出し,教師付きトレーニングに必要な問題方程式ペアを構築するために,MWPの特性を満たす一連の抽出プロセスを提案する。
知識蒸留法では,全データの完全活用を保証できないため,検索に失敗するデータを知識精製法で効果的に活用する。
最後に,2段階法により生成された蒸留データを用いて小型モデルを訓練する。
提案手法は,探索用'problem-equation'ペアのセマンティック理解機能を完全に活用するので,ChatGPTよりも計算コストをはるかに低く保ちながら,Math23KとWeak12Kデータセットの性能を大幅に向上させる。
関連論文リスト
- Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning [0.0]
パターン・オブ・シント(CoT)とプログラム・オブ・シント(PoT)ファインチューニング(PoT)は、LPMの知識を小さな言語モデル(SLM)に転送する一般的な方法である。
本稿では,SLMの問題解決プロセスを強化するために,新たな2段階のプロンプト戦略であるGap-Filling Prompting(GFP)を紹介する。
論文 参考訳（メタデータ） (2024-11-08T08:52:59Z) - MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳（メタデータ） (2024-06-17T10:12:45Z) - MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳（メタデータ） (2024-05-25T15:07:33Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Solving Math Word Problems with Reexamination [27.80592576792461]
モデルに依存しない擬似双対学習手法を提案する。
擬似双対タスクは、表現中の数字を元の単語問題に記入し、数字をマスクするものとして特に定義される。
提案手法は,複数の代表MWPソルバを実証実験により適用した場合に有効であることが確認された。
論文 参考訳（メタデータ） (2023-10-14T14:23:44Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-09-13T04:06:47Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2023-06-04T17:02:59Z) - Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning [10.889271604723312]
思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。
本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。
3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
論文 参考訳（メタデータ） (2023-05-29T16:01:40Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-05-16T17:55:51Z) - WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems [21.501567886241087]
数学語問題(MWP)の解法は自然言語処理において重要かつ困難な問題である。
本稿では,MWPを監督する上で最終回答のみを必要とすることにより,MWPを解くための弱教師付きモデルを提案する。
提案手法は,最先端の弱教師付きアプローチに比べて精度が4.5%,32%向上することが実証された。
論文 参考訳（メタデータ） (2021-04-14T09:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。