論文の概要: Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems

• arxiv url: http://arxiv.org/abs/2408.16293v1
• Date: Thu, 29 Aug 2024 06:49:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:43:40.500843
• Title: Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems
• Title（参考訳）: 言語モデルの物理 : 第2部 小学校数学の誤りから学ぶ方法
• Authors: Tian Ye, Zicheng Xu, Yuanzhi Li, Zeyuan Allen-Zhu,
• Abstract要約: 我々は、事前訓練段階に直接「エラー訂正」データを組み込むことの有用性を理解することに注力する。 このデータは、即座に修正された誤った解ステップで構成されている。 このタイプの事前学習データにより、言語モデルの推論精度の向上が期待できる。
• 参考スコア（独自算出の注目度）: 47.753284211200665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models have demonstrated remarkable performance in solving reasoning tasks; however, even the strongest models still occasionally make reasoning mistakes. Recently, there has been active research aimed at improving reasoning accuracy, particularly by using pretrained language models to "self-correct" their mistakes via multi-round prompting. In this paper, we follow this line of work but focus on understanding the usefulness of incorporating "error-correction" data directly into the pretraining stage. This data consists of erroneous solution steps immediately followed by their corrections. Using a synthetic math dataset, we show promising results: this type of pretrain data can help language models achieve higher reasoning accuracy directly (i.e., through simple auto-regression, without multi-round prompting) compared to pretraining on the same amount of error-free data. We also delve into many details, such as (1) how this approach differs from beam search, (2) how such data can be prepared, (3) whether masking is needed on the erroneous tokens, (4) the amount of error required, (5) whether such data can be deferred to the fine-tuning stage, and many others.
• Abstract（参考訳）: 言語モデルは推論タスクの解決において顕著なパフォーマンスを示しているが、最強のモデルでさえ推論ミスを犯すことがある。 近年, 推論精度の向上を目的とした研究が盛んに行われており, 特に事前学習された言語モデルを用いて, 複数ラウンドのプロンプトによる誤りの「自己修正」を行っている。 本稿では,この一連の作業に追従するが,事前学習段階に直接「エラー訂正」データを組み込むことの有用性の理解に焦点をあてる。 このデータは、即座に修正された誤った解ステップで構成されている。 このタイプの事前学習データは、同じ量の誤りのないデータに対する事前学習と比較して、言語モデルが直接的(つまり、複数ラウンドのプロンプトなしで、単純な自動回帰によって)高い推論精度を達成するのに役立ちます。 また,(1)ビームサーチとどのように異なるか,(2)そのようなデータの作成方法,(3)誤ったトークンにマスキングが必要かどうか,(4)エラーの量,(5)微調整段階まで遅延できるかどうか,など,多くの詳細についても調べる。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
  実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。 要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。 我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-04-09T11:20:44Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)
• Correcting the Autocorrect: Context-Aware Typographical Error Correction via Training Data Augmentation [38.10429793534442]
  まず、スペルエラー統計を計算するために、注釈付きデータの小さなセットを描画する。 その後、エラーをはるかに大きなコーパスに導入するために、これらが呼び出される。 私たちは、英語のエラー検出と修正データセットのセットを作成するためにそれを使用します。
  論文  参考訳（メタデータ） (2020-05-03T18:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。