論文の概要: Organic Data-Driven Approach for Turkish Grammatical Error Correction and LLMs

• arxiv url: http://arxiv.org/abs/2405.15320v1
• Date: Fri, 24 May 2024 08:00:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 15:31:04.190302
• Title: Organic Data-Driven Approach for Turkish Grammatical Error Correction and LLMs
• Title（参考訳）: トルコ文法的誤り訂正とLLMのための有機データ駆動手法
• Authors: Asım Ersoy, Olcay Taner Yıldız,
• Abstract要約: 我々は,新しい有機データ駆動型アプローチ,クリーン挿入を導入し,並列なトルコ文法的誤り訂正データセットを構築する。 トルコの文法的誤り訂正テストの2つのセットについて, 公開されている3つのうちの2つについて, 最先端の結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammatical Error Correction has seen significant progress with the recent advancements in deep learning. As those methods require huge amounts of data, synthetic datasets are being built to fill this gap. Unfortunately, synthetic datasets are not organic enough in some cases and even require clean data to start with. Furthermore, most of the work that has been done is focused mostly on English. In this work, we introduce a new organic data-driven approach, clean insertions, to build parallel Turkish Grammatical Error Correction datasets from any organic data, and to clean the data used for training Large Language Models. We achieve state-of-the-art results on two Turkish Grammatical Error Correction test sets out of the three publicly available ones. We also show the effectiveness of our method on the training losses of training language models.
• Abstract（参考訳）: 文法的誤り訂正は、近年のディープラーニングの進歩によって大きな進歩を遂げている。 これらの方法は膨大な量のデータを必要とするため、このギャップを埋めるために合成データセットが構築されている。 残念なことに、合成データセットは一部のケースでは十分にオーガニックではなく、最初からクリーンなデータを必要とする。 さらに、これまで行ってきた作業の大部分は、主に英語に焦点をあてている。 本研究では,新しい有機データ駆動型アプローチ,クリーン挿入,任意の有機データから並列なトルコ文法的誤り訂正データセットの構築,大規模言語モデルのトレーニングに使用されるデータのクリーン化を提案する。 トルコ語の文法的誤り訂正テストの2つのセットについて,現在公開されている3つのうちの2つについて,最先端の結果を得た。 また,本手法が訓練言語モデルの学習損失に与える影響も示す。

関連論文リスト

• Physics of Language Models: Part 2.2, How to Learn From Mistakes on Grade-School Math Problems [47.753284211200665]
  我々は、事前訓練段階に直接「エラー訂正」データを組み込むことの有用性を理解することに注力する。 このデータは、即座に修正された誤った解ステップで構成されている。 このタイプの事前学習データにより、言語モデルの推論精度の向上が期待できる。
  論文  参考訳（メタデータ） (2024-08-29T06:49:20Z)
• Do Not Worry if You Do Not Have Data: Building Pretrained Language Models Using Translationese [47.45957604683302]
  事前学習には大量のモノリンガルデータが必要であるが、ほとんど英語以外の言語では利用できない。 我々は、英語とIndic言語を例にとり、Webcrawled monolingual document (clean)を対象言語に翻訳する。 そして、この翻訳データに基づいて28Mと85Mのパラメータを含む言語モデルを訓練する(合成)。 下流の自然言語理解および生成タスクにおけるそれらの性能は、クリーンデータで事前訓練されたLMよりも、NLUタスクで3.56%、NLGタスクで1.51%劣っている。
  論文  参考訳（メタデータ） (2024-03-20T14:41:01Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• GECTurk: Grammatical Error Correction and Detection Dataset for Turkish [1.804922416527064]
  文法的誤り検出・訂正(GEC)ツールは、母語話者と第二言語学習者にとって有用であることが証明されている。 合成データ生成は、そのようなデータの不足を克服するための一般的なプラクティスである。 トルコ語のためのフレキシブルで総合的なデータ生成パイプラインを提案し、20以上の専門家による文法と綴り規則をカバーしている。
  論文  参考訳（メタデータ） (2023-09-20T14:25:44Z)
• ASDOT: Any-Shot Data-to-Text Generation with Pretrained Language Models [82.63962107729994]
  Any-Shot Data-to-Text (ASDOT)は、多様な設定に柔軟に適用可能な新しいアプローチである。 データ曖昧化と文の融合という2つのステップから構成される。 実験の結果, ASDOT はベースラインよりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2022-10-09T19:17:43Z)
• Towards Zero-Label Language Learning [20.28186484098947]
  本稿では自然言語処理(NLP)におけるゼロラベル学習について検討する。 トレーニング中、どこにでも人間の注釈付きデータを使用しず、モデルが純粋に合成データに基づいて訓練される。 GPT-3における数発の推論の成功に触発されて、教師なしデータ生成というトレーニングデータ生成手順を提案する。
  論文  参考訳（メタデータ） (2021-09-19T19:00:07Z)
• Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models [15.481446439370343]
  ERRANTなどの自動アノテーションツールからのエラー型タグを使用して、合成データ生成をガイドする。 我々は、与えられた開発セットにマッチするエラータグ頻度分布を持つ、新しい大規模合成事前学習データセットを構築した。 本手法は,母国英語と非母国英語を混合したGECシステムをネイティブ英語テストセットに適用する上で,特に有効である。
  論文  参考訳（メタデータ） (2021-05-27T17:17:21Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。