論文の概要: German Text Simplification: Finetuning Large Language Models with Semi-Synthetic Data

• arxiv url: http://arxiv.org/abs/2402.10675v1
• Date: Fri, 16 Feb 2024 13:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-19 16:00:51.185866
• Title: German Text Simplification: Finetuning Large Language Models with Semi-Synthetic Data
• Title（参考訳）: ドイツ語のテキスト単純化:半合成データを用いた大規模言語モデルの微調整
• Authors: Lars Kl\"oser, Mika Beele, Jan-Niklas Schagen, Bodo Kraft
• Abstract要約: 本研究は,ドイツ語テキストの文書レベルの簡易化において,合成生成データを用いて生成モデルを訓練する手法である。 このデータに最大13億のパラメータを持つ大規模言語モデルを精査し、その性能を評価します。
• 参考スコア（独自算出の注目度）: 0.7059555559002345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study pioneers the use of synthetically generated data for training generative models in document-level text simplification of German texts. We demonstrate the effectiveness of our approach with real-world online texts. Addressing the challenge of data scarcity in language simplification, we crawled professionally simplified German texts and synthesized a corpus using GPT-4. We finetune Large Language Models with up to 13 billion parameters on this data and evaluate their performance. This paper employs various methodologies for evaluation and demonstrates the limitations of currently used rule-based metrics. Both automatic and manual evaluations reveal that our models can significantly simplify real-world online texts, indicating the potential of synthetic data in improving text simplification.
• Abstract（参考訳）: 本研究は,ドイツ語テキストの文書レベルの簡易化において,合成生成データを用いて生成モデルの訓練を行う。 実際のオンラインテキストによるアプローチの有効性を実証する。 言語単純化におけるデータ不足の課題に対処するため、専門的に単純化されたドイツ語テキストをクロールし、GPT-4を用いてコーパスを合成した。 このデータに最大13億のパラメータを持つ大規模言語モデルを精査し、その性能を評価します。 本稿では,様々な評価手法を用い,現在使用されているルールベースメトリクスの限界を実証する。 自動評価と手作業による評価では,実世界のオンラインテキストが大幅に単純化され,テキスト簡易化における合成データの可能性が示された。

関連論文リスト

• Large corpora and large language models: a replicable method for automating grammatical annotation [0.0]
  英語評価動詞構築における形式的変化の事例研究に応用された方法論的パイプライン「consider X (as) (to be) Y」を紹介する。 少数のトレーニングデータだけで、保留中のテストサンプルで90%以上の精度でモデルに到達します。 本研究は, 文法的構成と文法的変化および変化に関する幅広いケーススタディに対して, 結果の一般化可能性について論じる。
  論文  参考訳（メタデータ） (2024-11-18T03:29:48Z)
• Instruction Data Generation and Unsupervised Adaptation for Speech Language Models [21.56355461403427]
  本稿では,多モーダル大規模言語モデルの訓練と評価を行うために,合成サンプルを生成する3つの方法を提案する。 このようなシステムの性能を高めるための重要な戦略として、合成データ生成が出現する。 我々は、未ラベルの音声データを用いて、利用可能な書き起こしに匹敵する品質の合成サンプルを生成する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-18T08:27:00Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• A Novel Dataset for Financial Education Text Simplification in Spanish [4.475176409401273]
  スペイン語では、テキスト単純化システムを作成するために使用できるデータセットはほとんどない。 我々は、確立された単純化規則を用いて、5,314の複雑で単純化された文対からなるデータセットを作成しました。
  論文  参考訳（メタデータ） (2023-12-15T15:47:08Z)
• Language Models for German Text Simplification: Overcoming Parallel Data Scarcity through Style-specific Pre-training [0.0]
  データ不足を克服する2段階のアプローチを提案する。 まず、ドイツ語の特定のスタイルであるドイツ語 Easy Language のコーパス上で、言語モデルを微調整した。 言語モデルが Easy Language のスタイル特性に適応し,よりアクセシブルなテキストを出力することを示す。
  論文  参考訳（メタデータ） (2023-05-22T10:41:30Z)
• How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN [63.79300884115027]
  現在の言語モデルは高品質なテキストを生成することができる。 彼らは、これまで見たテキストを単にコピーしているか、それとも一般化可能な言語的抽象化を学んだのか? 本稿では、生成したテキストの新規性を評価するための分析スイートであるRAVENを紹介する。
  論文  参考訳（メタデータ） (2021-11-18T04:07:09Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
  GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:39:33Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
  GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。 このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。 本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T21:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。