論文の概要: Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
- arxiv url: http://arxiv.org/abs/2305.18170v2
- Date: Fri, 9 Jun 2023 05:00:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 16:24:21.176391
- Title: Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
- Title(参考訳): 数値推論のための短時間プロンプトにおけるトレーニングデータ活用
- Authors: Zhanming Jie, Wei Lu
- Abstract要約: 思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。
本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。
3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
- 参考スコア(独自算出の注目度): 10.889271604723312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) prompting with large language models has proven
effective in numerous natural language processing tasks, but designing prompts
that generalize well to diverse problem types can be challenging, especially in
the context of math word problem (MWP) solving. Additionally, it is common to
have a large amount of training data that have a better diversity coverage but
CoT annotations are not available, which limits the use of supervised learning
techniques. To address these issues, we investigate two approaches to leverage
the training data in a few-shot prompting scenario: dynamic program prompting
and program distillation. Our approach is largely inspired by Gao et al.,
(2022), where they proposed to replace the CoT with the programs as the
intermediate reasoning step. Such a prompting strategy allows us to accurately
verify the answer correctness through program execution in MWP solving. Our
dynamic program prompting involves annotating the training data by sampling
correct programs from a large language model, while program distillation
involves adapting a smaller model to the program-annotated training data. Our
experiments on three standard MWP datasets demonstrate the effectiveness of
these approaches, yielding significant improvements over previous baselines for
prompting and fine-tuning. Our results suggest that leveraging a large amount
of training data can improve the generalization ability of prompts and boost
the performance of fine-tuned small models in MWP solving.
- Abstract(参考訳): CoT(Chain-of- Thought)は、多くの自然言語処理タスクで有効であることが証明されているが、特に数学語問題(MWP)解決の文脈では、様々な問題タイプにうまく一般化するプロンプトの設計は困難である。
さらに、多様性が向上した大量のトレーニングデータを持つことが一般的だが、CoTアノテーションは利用できないため、教師付き学習技術の使用が制限される。
これらの課題に対処するために, 動的プログラムのプロンプトとプログラムの蒸留という, 数ショットのプロンプトシナリオでトレーニングデータを活用するための2つのアプローチを検討する。
我々のアプローチはGaoら(2022年)に大きく影響を受けており、中間的推論ステップとしてCoTをプログラムに置き換えることを提案した。
このようなプロンプト戦略により,MWP問題解決におけるプログラム実行による解の正確性検証が可能となる。
動的プログラムプロンプトは,大規模な言語モデルから正しいプログラムをサンプリングしてトレーニングデータをアノテートし,プログラム蒸留ではより小さいモデルをプログラムにアノテートしたトレーニングデータに適用する。
3つの標準MWPデータセットによる実験により,これらの手法の有効性が実証された。
この結果から,大量のトレーニングデータを活用することにより,プロンプトの一般化能力が向上し,MWP法における微調整小モデルの性能が向上することが示唆された。
関連論文リスト
- Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳(メタデータ) (2024-01-07T18:12:20Z) - Solving Math Word Problems with Reexamination [27.80592576792461]
モデルに依存しない擬似双対学習手法を提案する。
擬似双対タスクは、表現中の数字を元の単語問題に記入し、数字をマスクするものとして特に定義される。
提案手法は,複数の代表MWPソルバを実証実験により適用した場合に有効であることが確認された。
論文 参考訳(メタデータ) (2023-10-14T14:23:44Z) - Information Association for Language Model Updating by Mitigating
LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。
知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。
これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文 参考訳(メタデータ) (2023-05-29T19:48:37Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳(メタデータ) (2023-05-24T10:08:04Z) - Improving Multi-task Learning via Seeking Task-based Flat Regions [43.85516379095757]
MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。
MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。
単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
論文 参考訳(メタデータ) (2022-11-24T17:19:30Z) - Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。
IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
論文 参考訳(メタデータ) (2022-06-04T10:08:50Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems [21.501567886241087]
数学語問題(MWP)の解法は自然言語処理において重要かつ困難な問題である。
本稿では,MWPを監督する上で最終回答のみを必要とすることにより,MWPを解くための弱教師付きモデルを提案する。
提案手法は,最先端の弱教師付きアプローチに比べて精度が4.5%,32%向上することが実証された。
論文 参考訳(メタデータ) (2021-04-14T09:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。