Fugu-MT 論文翻訳(概要): To Err Is Human, but Llamas Can Learn It Too

論文の概要: To Err Is Human, but Llamas Can Learn It Too

arxiv url: http://arxiv.org/abs/2403.05493v2
Date: Fri, 04 Oct 2024 15:34:48 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-07 18:20:18.744093
Title: To Err Is Human, but Llamas Can Learn It Too
Title（参考訳）: 人間じゃないけど、Llamasも学べる
Authors: Agnes Luhtaru, Taido Purason, Martin Vainikko, Maksym Del, Mark Fishel,
Abstract要約: 本研究では,言語モデル(LM)を用いた文法的誤り訂正の強化について検討する。 Llama 2-based LMs for error generation, and found that this approach yields synthetic error to a same error。我々はこれらの人工的誤りの助けを借りてGEC Llamaモデルを訓練し、過去の最先端の誤り訂正モデルより優れていた。
参考スコア（独自算出の注目度）: 0.6990493129893112
License:
Abstract: This study explores enhancing grammatical error correction (GEC) through artificial error generation (AEG) using language models (LMs). Specifically, we fine-tune Llama 2-based LMs for error generation and find that this approach yields synthetic errors akin to human errors. Next, we train GEC Llama models with the help of these artificial errors and outperform previous state-of-the-art error correction models, with gains ranging between 0.8 and 6 F0.5 points across all tested languages (German, Ukrainian, and Estonian). Moreover, we demonstrate that generating errors by fine-tuning smaller sequence-to-sequence models and prompting large commercial LMs (GPT-3.5 and GPT-4) also results in synthetic errors beneficially affecting error generation models.
Abstract（参考訳）: 本研究では,言語モデル(LM)を用いた人工誤り生成(AEG)による文法的誤り訂正(GEC)の強化について検討する。具体的には,Llama 2-based LMsを微調整し,人間の誤りに類似した合成誤差を生じることを発見した。次に、これらの人工的エラーの助けを借りてGEC Llamaモデルをトレーニングし、従来の最先端の誤り訂正モデルより優れており、テスト対象言語(ドイツ語、ウクライナ語、エストニア語)で0.8から6F0.5ポイントのゲインがある。さらに、より小さなシーケンス・ツー・シーケンスモデルを微調整し、大規模な商用LM(GPT-3.5およびGPT-4)を誘導することでエラーを生成することも、エラー生成モデルに有意な影響を及ぼすことを示す。

関連論文リスト

Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文参考訳（メタデータ） (2024-11-05T12:26:25Z)
Efficient and Interpretable Grammatical Error Correction with Mixture of Experts [33.748193858033346]
文法的誤り訂正のための混合専門家モデルMoECEを提案する。本モデルでは,有効パラメータの3倍少ないT5-XLの性能を実現する。
論文参考訳（メタデータ） (2024-10-30T23:27:54Z)
Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文参考訳（メタデータ） (2024-10-09T07:43:38Z)
Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection [2.5575527199248347]
様々な言語からのデータを用いてモデルを訓練し、他の言語で合成エラーを生成する。これらの合成誤差コーパスは、GEDモデルのトレーニングに使用される。このアプローチは、現在最先端のアノテーションのないGEDメソッドよりも優れている。
論文参考訳（メタデータ） (2024-07-16T15:35:15Z)
Evaluating Mathematical Reasoning of Large Language Models: A Focus on Error Identification and Correction [35.01097297297534]
LLM(Large Language Models)の既存の評価は、検査の観点からの問題解決に重点を置いている。我々は、アノテーション付きエラータイプとステップを持つ新しいデータセットとともに、エラー識別と修正のための4つの評価タスクを定義した。その結果, GPT-4は全モデルより優れており, LLaMA-2-7BはGPT-3.5やGemini Proに匹敵する性能を示した。
論文参考訳（メタデータ） (2024-06-02T14:16:24Z)
GEE! Grammar Error Explanation with Large Language Models [64.16199533560017]
本稿では,文法的誤りを1対の誤り文と訂正文に1文で説明する必要がある文法的誤り説明の課題を提案する。文法的誤り説明における GPT-4 の能力を解析し, ワンショットプロンプトを用いた60.2% の誤り説明しか生成しないことを確認した。我々は、構造化されたアトミックトークンの編集を行うために、微調整された大規模言語モデルを活用する2段階のパイプラインを開発した。
論文参考訳（メタデータ） (2023-11-16T02:45:47Z)
Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
論文参考訳（メタデータ） (2023-10-31T17:52:22Z)
Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文参考訳（メタデータ） (2023-05-28T13:19:12Z)
Judge a Sentence by Its Content to Generate Grammatical Errors [0.0]
文法的誤り訂正のための合成データ生成のための学習ベース2段階法を提案する。合成コーパスで学習したGECモデルは,先行研究から得られた合成データで訓練したモデルよりも優れていた。
論文参考訳（メタデータ） (2022-08-20T14:31:34Z)
LM-Critic: Language Models for Unsupervised Grammatical Error Correction [128.9174409251852]
文を文法的に判断する LM-Critic の定義において,事前訓練された言語モデル (LM) の活用法を示す。このLM-Critic と BIFI と、ラベルなし文の集合を併用して、現実的な非文法的/文法的ペアをブートストラップし、修正子を訓練する。
論文参考訳（メタデータ） (2021-09-14T17:06:43Z)
Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models [15.481446439370343]
ERRANTなどの自動アノテーションツールからのエラー型タグを使用して、合成データ生成をガイドする。我々は、与えられた開発セットにマッチするエラータグ頻度分布を持つ、新しい大規模合成事前学習データセットを構築した。本手法は,母国英語と非母国英語を混合したGECシステムをネイティブ英語テストセットに適用する上で,特に有効である。
論文参考訳（メタデータ） (2021-05-27T17:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。