論文の概要: Exploring Mathematical Extrapolation of Large Language Models with Synthetic Data

• arxiv url: http://arxiv.org/abs/2406.02100v1
• Date: Tue, 4 Jun 2024 08:30:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:21:12.738612
• Title: Exploring Mathematical Extrapolation of Large Language Models with Synthetic Data
• Title（参考訳）: 合成データを用いた大規模言語モデルの数学的外挿探索
• Authors: Haolong Li, Yu Ma, Yinqi Zhang, Chen Ye, Jie Chen,
• Abstract要約: このモデルは,高品質な合成データを微調整することで,多段階推論タスクで良好に動作可能であることを示す。 3つの異なるテストデータセットにおけるopen-llama-3Bモデルによる実験結果から、0ショットパス@1に0.44で到達できることが示されている。
• 参考スコア（独自算出の注目度）: 7.52830790706506
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have shown excellent performance in language understanding, text generation, code synthesis, and many other tasks, while they still struggle in complex multi-step reasoning problems, such as mathematical reasoning. In this paper, through a newly proposed arithmetical puzzle problem, we show that the model can perform well on multi-step reasoning tasks via fine-tuning on high-quality synthetic data. Experimental results with the open-llama-3B model on three different test datasets show that not only the model can reach a zero-shot pass@1 at 0.44 on the in-domain dataset, it also demonstrates certain generalization capabilities on the out-of-domain datasets. Specifically, this paper has designed two out-of-domain datasets in the form of extending the numerical range and the composing components of the arithmetical puzzle problem separately. The fine-tuned models have shown encouraging performance on these two far more difficult tasks with the zero-shot pass@1 at 0.33 and 0.35, respectively.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語理解、テキスト生成、コード合成、その他多くのタスクにおいて優れた性能を示してきたが、それでも数学的推論のような複雑な多段階推論問題に苦慮している。 本稿では,新たに提案された算術パズル問題を用いて,高品質な合成データを微調整することで,多段階推論タスクにおいて,モデルが良好に動作することを示す。 3つの異なるテストデータセットのopen-llama-3Bモデルによる実験結果から、モデルが0ショットパス@1に到達できるだけでなく、ドメイン内データセットの0.44に到達できることが示されている。 具体的には、算術パズル問題の数値範囲と構成成分を別々に拡張する形で、ドメイン外データセットを2つ設計した。 微調整されたモデルでは、0ショットパス@1の0.33と0.35の2つのより難しいタスクのパフォーマンスが向上している。

関連論文リスト

• InfinityMATH: A Scalable Instruction Tuning Dataset in Programmatic Mathematical Reasoning [13.728595670907136]
  InfinityMATHは、プログラム数学的推論のためのスケーラブルな命令チューニングデータセットである。 オープンソースの言語とLlama2やCodeLlamaといったコードモデルによる微調整実験は、InfinityMATHの実用的メリットを実証している。
  論文  参考訳（メタデータ） (2024-08-09T08:18:20Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning [25.496627355906966]
  我々は「ReClor-plus」、「LogiQA-plus」、「LogiQAv2-plus」という3つの新しい論理推論データセットを開発した。 実験により、これらの単純な拡張がモデルの性能を著しく損なうことが示されている。 微調整とプロンプトのためのロジック駆動型データ拡張の適用は、識別モデルと生成モデルの両方における一般化を促進することができる。
  論文  参考訳（メタデータ） (2023-10-13T22:29:15Z)
• Text Alignment Is An Efficient Unified Model for Massive NLP Tasks [24.069447197357164]
  次単語予測は、多くのNLPタスクの効率的な定式化ではないことが多い。 テキストアライメントは、幅広い重要なタスクに対して効率的な統一モデルとして提案する。 私たちのモデルは、より小さなモデルサイズで同等か、あるいはさらに優れたパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2023-07-06T02:28:31Z)
• Challenges in Domain-Specific Abstractive Summarization and How to Overcome them [0.6021787236982659]
  大規模言語モデルは、ドメイン固有の抽象的テキスト要約のようなタスクに使用される際のいくつかの制限を示す。 本稿では,これら3つの制約を抽象的テキスト要約の文脈における研究問題として挙げる。
  論文  参考訳（メタデータ） (2023-07-03T12:26:44Z)
• Leveraging Locality in Abstractive Text Summarization [44.67905693077539]
  制限されたコンテキストを持つモデルが、メモリ効率の低いアテンションモデルと比較して競合性能を持つかどうかを検討する。 本モデルは,局所性の原理によってグループ化された入力の一部を含む個々のページに適用される。
  論文  参考訳（メタデータ） (2022-05-25T03:59:24Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Model-agnostic multi-objective approach for the evolutionary discovery of mathematical models [55.41644538483948]
  現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。 合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
  論文  参考訳（メタデータ） (2021-07-07T11:17:09Z)
• When Can Models Learn From Explanations? A Formal Framework for Understanding the Roles of Explanation Data [84.87772675171412]
  個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。 e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
  論文  参考訳（メタデータ） (2021-02-03T18:57:08Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。