論文の概要: Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
- arxiv url: http://arxiv.org/abs/2305.18170v2
- Date: Fri, 9 Jun 2023 05:00:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-12 16:24:21.176391
- Title: Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning
- Title（参考訳）: 数値推論のための短時間プロンプトにおけるトレーニングデータ活用
- Authors: Zhanming Jie, Wei Lu
- Abstract要約: 思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。
本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。
3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
- 参考スコア（独自算出の注目度）: 10.889271604723312
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) prompting with large language models has proven
effective in numerous natural language processing tasks, but designing prompts
that generalize well to diverse problem types can be challenging, especially in
the context of math word problem (MWP) solving. Additionally, it is common to
have a large amount of training data that have a better diversity coverage but
CoT annotations are not available, which limits the use of supervised learning
techniques. To address these issues, we investigate two approaches to leverage
the training data in a few-shot prompting scenario: dynamic program prompting
and program distillation. Our approach is largely inspired by Gao et al.,
(2022), where they proposed to replace the CoT with the programs as the
intermediate reasoning step. Such a prompting strategy allows us to accurately
verify the answer correctness through program execution in MWP solving. Our
dynamic program prompting involves annotating the training data by sampling
correct programs from a large language model, while program distillation
involves adapting a smaller model to the program-annotated training data. Our
experiments on three standard MWP datasets demonstrate the effectiveness of
these approaches, yielding significant improvements over previous baselines for
prompting and fine-tuning. Our results suggest that leveraging a large amount
of training data can improve the generalization ability of prompts and boost
the performance of fine-tuned small models in MWP solving.
- Abstract（参考訳）: CoT(Chain-of- Thought)は、多くの自然言語処理タスクで有効であることが証明されているが、特に数学語問題(MWP)解決の文脈では、様々な問題タイプにうまく一般化するプロンプトの設計は困難である。
さらに、多様性が向上した大量のトレーニングデータを持つことが一般的だが、CoTアノテーションは利用できないため、教師付き学習技術の使用が制限される。
これらの課題に対処するために, 動的プログラムのプロンプトとプログラムの蒸留という, 数ショットのプロンプトシナリオでトレーニングデータを活用するための2つのアプローチを検討する。
我々のアプローチはGaoら(2022年)に大きく影響を受けており、中間的推論ステップとしてCoTをプログラムに置き換えることを提案した。
このようなプロンプト戦略により,MWP問題解決におけるプログラム実行による解の正確性検証が可能となる。
動的プログラムプロンプトは,大規模な言語モデルから正しいプログラムをサンプリングしてトレーニングデータをアノテートし,プログラム蒸留ではより小さいモデルをプログラムにアノテートしたトレーニングデータに適用する。
3つの標準MWPデータセットによる実験により,これらの手法の有効性が実証された。
この結果から,大量のトレーニングデータを活用することにより,プロンプトの一般化能力が向上し,MWP法における微調整小モデルの性能が向上することが示唆された。
関連論文リスト
- Denoising Pre-Training and Customized Prompt Learning for Efficient Multi-Behavior Sequential Recommendation [69.60321475454843]
マルチビヘイビアシークエンシャルレコメンデーションに適した,最初の事前学習および迅速な学習パラダイムであるDPCPLを提案する。
事前学習段階において,複数の時間スケールでノイズを除去する新しい行動マイナ (EBM) を提案する。
次に,提案するCustomized Prompt Learning (CPL)モジュールを用いて,事前学習したモデルを高効率にチューニングすることを提案する。
論文 参考訳（メタデータ） (2024-08-21T06:48:38Z) - Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
低データ体制における教師なし事前学習のための新しい手法を提案する。
最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。
提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
論文 参考訳（メタデータ） (2024-05-22T06:48:43Z) - Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving [0.0]
本研究の目的は,MWPソルバにより多様なトレーニングセットを提供することであり,最終的には様々な数学問題を解く能力を向上させることである。
本稿では,同義語置換法,ルールベース:質問置換法,ルールベース:質問方法論を逆転させるような問題テキストや方程式を変更することで,データ拡張のためのいくつかの手法を提案する。
本研究は,Llama-7b言語モデルを用いて,新しい文脈内学習拡張手法を導入することで拡張する。
論文 参考訳（メタデータ） (2024-04-05T07:57:03Z) - From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision [12.023661884821554]
本稿では,大規模言語モデルから小型言語モデルへの数学的知識の伝達を徹底的に行う,革新的な2段階のフレームワークを提案する。
提案手法は,探索型'確率方程式'ペアにおける意味理解機能を完全に活用する。
Math23KとWeak12Kデータセットでは、既存の小さなモデルメソッドと比較して大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-03-21T13:29:54Z) - Data-CUBE: Data Curriculum for Instruction-based Sentence Representation
Learning [85.66907881270785]
本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。
タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。
インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
論文 参考訳（メタデータ） (2024-01-07T18:12:20Z) - Information Association for Language Model Updating by Mitigating
LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。
知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。
これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文 参考訳（メタデータ） (2023-05-29T19:48:37Z) - OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。
本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-05-24T10:08:04Z) - Improving Multi-task Learning via Seeking Task-based Flat Regions [43.85516379095757]
MTL(Multi-Task Learning)は、ディープニューラルネットワークをトレーニングするための強力な学習パラダイムである。
MTLには、究極の勾配降下方向を導出するためにタスク勾配を操作することに焦点を当てた、新たな作業ラインがある。
単タスク学習におけるモデル一般化能力を向上するシャープネス認識最小化という,最近導入されたトレーニング手法を活用することを提案する。
論文 参考訳（メタデータ） (2022-11-24T17:19:30Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳（メタデータ） (2021-09-10T03:23:06Z) - WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems [21.501567886241087]
数学語問題(MWP)の解法は自然言語処理において重要かつ困難な問題である。
本稿では,MWPを監督する上で最終回答のみを必要とすることにより,MWPを解くための弱教師付きモデルを提案する。
提案手法は,最先端の弱教師付きアプローチに比べて精度が4.5%,32%向上することが実証された。
論文 参考訳（メタデータ） (2021-04-14T09:25:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。