論文の概要: Template-Driven LLM-Paraphrased Framework for Tabular Math Word Problem Generation

• arxiv url: http://arxiv.org/abs/2412.15594v1
• Date: Fri, 20 Dec 2024 06:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:17.970347
• Title: Template-Driven LLM-Paraphrased Framework for Tabular Math Word Problem Generation
• Title（参考訳）: テンプレート駆動 LLM-Paraphrased Framework for Tabular Math Word Problem Generation (英語)
• Authors: Xiaoqiang Kang, Zimu Wang, Xiaobo Jin, Wei Wang, Kaizhu Huang, Qiufeng Wang,
• Abstract要約: 多様な背景と正確なテーブル,質問,回答,ソリューションを備えた高品質なTMWPサンプルを生成するためのテンプレート駆動型LLMパラフレーズ(TeLL)フレームワークを提案する。 提案手法により,TabMWPデータセットの質問タイプに適応して高品質なデータセットTabMWP-TeLLを構築する。
• 参考スコア（独自算出の注目度）: 22.6458807254272
• License:
• Abstract: Solving tabular math word problems (TMWPs) has become a critical role in evaluating the mathematical reasoning ability of large language models (LLMs), where large-scale TMWP samples are commonly required for LLM fine-tuning. Since the collection of high-quality TMWP datasets is costly and time-consuming, recent research has concentrated on automatic TMWP generation. However, current generated samples usually suffer from issues of either correctness or diversity. In this paper, we propose a Template-driven LLM-paraphrased (TeLL) framework for generating high-quality TMWP samples with diverse backgrounds and accurate tables, questions, answers, and solutions. To this end, we first extract templates from existing real samples to generate initial problems, ensuring correctness. Then, we adopt an LLM to extend templates and paraphrase problems, obtaining diverse TMWP samples. Furthermore, we find the reasoning annotation is important for solving TMWPs. Therefore, we propose to enrich each solution with illustrative reasoning steps. Through the proposed framework, we construct a high-quality dataset TabMWP-TeLL by adhering to the question types in the TabMWP dataset, and we conduct extensive experiments on a variety of LLMs to demonstrate the effectiveness of TabMWP-TeLL in improving TMWP solving performance. The code and data of this paper are available at: https://github.com/Jason8Kang/TELL.
• Abstract（参考訳）: 大規模言語モデル(LLM)の数学的推論能力を評価する上で,TMWPの解法は重要な役割を担っている。 高品質なTMWPデータセットの収集はコストと時間を要するため、最近の研究は自動TMWP生成に集中している。 しかし、現在のサンプルは、通常、正確性または多様性のどちらかの問題に悩まされる。 本稿では,様々な背景と正確なテーブル,質問,回答,ソリューションを備えた高品質なTMWPサンプルを生成するためのテンプレート駆動型LLM(TeLL)フレームワークを提案する。 この目的のために、我々はまず既存の実検体からテンプレートを抽出し、初期問題を発生させ、正確性を確保する。 そして,テンプレートとパラフレーズ問題を拡張し,多種多様なTMWPサンプルを得るLLMを採用した。 さらに,TMWPの解決には推論アノテーションが重要である。 そこで本研究では,各解を図解的推論ステップで豊かにすることを提案する。 提案フレームワークにより,TabMWPデータセットの質問タイプに適応して高品質なデータセットTabMWP-TeLLを構築し,TabMWP-TeLLの有効性を実証するため,様々なLLMに対して広範な実験を行った。 この論文のコードとデータは、https://github.com/Jason8Kang/TELL.comで公開されている。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• TACT: Advancing Complex Aggregative Reasoning with Information Extraction Tools [51.576974932743596]
  大規模言語モデル(LLM)は、テキスト間の情報の集約を必要とするクエリではよく機能しないことが多い。 TACTには、1つ以上のテキストに散らばる縫合情報を要求する難しい命令が含まれている。 既存のテキストと関連するテーブルのデータセットを活用することで、このデータセットを構築します。 現代のLLMはいずれも,このデータセットでは性能が悪く,精度が38%以下であることが実証された。
  論文  参考訳（メタデータ） (2024-06-05T20:32:56Z)
• NIFTY Financial News Headlines Dataset [14.622656548420073]
  NIFTY Financial News Headlines データセットは,大規模言語モデル(LLM)を用いた金融市場予測の促進と進展を目的としている。 i) LLMの教師付き微調整(SFT)を目標とするNIFTY-LMと、(ii) NIFTY-RLと、(人からのフィードバックからの強化学習のような)アライメントメソッドに特化してフォーマットされたNIFTY-RLの2つの異なるモデルアプローチで構成されている。
  論文  参考訳（メタデータ） (2024-05-16T01:09:33Z)
• Large Language Models Can Automatically Engineer Features for Few-Shot Tabular Learning [35.03338699349037]
  本稿では,機能エンジニアとして大規模言語モデルを用いる新しい文脈内学習フレームワークFeatLLMを提案する。 FeatLLMは高品質なルールを生成し、TabLLMやSTUNTなどよりも大幅に(平均で10%)優れている。
  論文  参考訳（メタデータ） (2024-04-15T06:26:08Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• TAP4LLM: Table Provider on Sampling, Augmenting, and Packing Semi-structured Data for Large Language Model Reasoning [55.33939289989238]
  テーブルベースタスクにおいて,大規模言語モデル(LLM)を効果的に活用するための汎用プリプロセッサスイートとして,TAP4LLMを提案する。 1)大きなテーブルをクエリセマンティクスに基づいて管理可能なサブテーブルに分解するテーブルサンプリング、(2)外部ソースやモデルから追加の知識でテーブルを拡張するテーブル拡張、(3)テーブルパッキングとシリアライゼーションによりテーブルをLLMの理解に適したさまざまなフォーマットに変換する。
  論文  参考訳（メタデータ） (2023-12-14T15:37:04Z)
• Unbiased Math Word Problems Benchmark for Mitigating Solving Bias [72.8677805114825]
  現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
  論文  参考訳（メタデータ） (2022-05-17T06:07:04Z)
• MWPToolkit: An Open-Source Framework for Deep Learning-Based Math Word Problem Solvers [29.611442087779896]
  MWPToolkitはMath Word Problem (MWP)を解くための最初のオープンソースフレームワークである。 広範に使用されている4つの単一方程式生成ベンチマークと2つの複数方程式生成ベンチマークに対して、17 MWPソルバを実装し比較する。
  論文  参考訳（メタデータ） (2021-09-02T09:18:09Z)
• MWP-BERT: A Strong Baseline for Math Word Problems [47.51572465676904]
  数学語問題(英: Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。 近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。 我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
  論文  参考訳（メタデータ） (2021-07-28T15:28:41Z)
• Are NLP Models really able to Solve Simple Math Word Problems? [7.433931244705934]
  MWP で質問された質問にアクセスできない MWP の解法は依然として MWP の大部分を解けることを示す。 既存のデータセットから抽出したサンプルに対して、慎重に選択されたバリエーションを適用して作成するチャレンジデータセットSVAMPを導入する。 最先端モデルによって達成される最高の精度はSVAMPよりも大幅に低いため、MWPの最も単純なモデルでも多くの処理が可能であることが示される。
  論文  参考訳（メタデータ） (2021-03-12T10:23:47Z)
• Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems [129.90766822085132]
  実用的自動テキスト数学語問題(MWP)は,様々なテキストMWPを解くことができる。 MWPの方程式を一様に表現する最初の試みとして,Universal Expression Tree (UET) を提案する。 次に,エンコーダ・デコーダ・フレームワークに基づく意味的に整合した普遍木構造解法 (SAU-r) を提案し,複数のMWPを統一モデルで解く。
  論文  参考訳（メタデータ） (2020-10-14T06:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。