論文の概要: Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets

• arxiv url: http://arxiv.org/abs/2501.15624v1
• Date: Sun, 26 Jan 2025 18:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:14.829122
• Title: Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets
• Title（参考訳）: 事前学習言語モデルとカスタムデータセットによるエストニア語テキストの簡易化
• Authors: Eduard Barbu, Meeri-Ly Muru, Sten Marcus Malva,
• Abstract要約: 本研究では,ニューラルネットワーク翻訳モデルと微調整大言語モデル(LLaMA)を用いたエストニア語のテキスト単純化手法を提案する。 我々は、翻訳タスクとしてテキストの単純化をフレーム化するニューラルネットワーク翻訳モデルOpenNMTをベンチマークし、エストニアの単純化に特化したLLaMAモデルをデータセットに微調整した。 テストセットのマニュアル評価では、LLaMAモデルはOpenNMTの可読性、文法性、意味保存性において一貫して優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This study introduces an approach to Estonian text simplification using two model architectures: a neural machine translation model and a fine-tuned large language model (LLaMA). Given the limited resources for Estonian, we developed a new dataset, the Estonian Simplification Dataset, combining translated data and GPT-4.0-generated simplifications. We benchmarked OpenNMT, a neural machine translation model that frames text simplification as a translation task, and fine-tuned the LLaMA model on our dataset to tailor it specifically for Estonian simplification. Manual evaluations on the test set show that the LLaMA model consistently outperforms OpenNMT in readability, grammaticality, and meaning preservation. These findings underscore the potential of large language models for low-resource languages and provide a basis for further research in Estonian text simplification.
• Abstract（参考訳）: 本研究では,2つのモデルアーキテクチャ(ニューラルマシン翻訳モデルと細調整された大言語モデル(LLaMA))を用いたエストニア語のテキスト単純化手法を提案する。 エストニアの資源が限られているため、翻訳データとGPT-4.0生成の単純化を組み合わせた新しいデータセットであるエストニアの単純化データセットを開発した。 我々は、翻訳タスクとしてテキストの単純化をフレーム化するニューラルネットワーク翻訳モデルOpenNMTをベンチマークし、エストニアの単純化に特化したLLaMAモデルをデータセットに微調整した。 テストセットのマニュアル評価では、LLaMAモデルはOpenNMTの可読性、文法性、意味保存性において一貫して優れていた。 これらの知見は、低リソース言語に対する大きな言語モデルの可能性を強調し、エストニア語テキストの単純化に関するさらなる研究の基盤を提供する。

関連論文リスト

• GliLem: Leveraging GliNER for Contextualized Lemmatization in Estonian [0.21485350418225246]
  GliLemはエストニア人のための新しいハイブリッド補題システムである。 本稿では,事前学習したGliNERモデルの柔軟性を活用し,Vabamorfの補間精度を向上させる。
  論文  参考訳（メタデータ） (2024-12-29T22:02:00Z)
• Teaching Llama a New Language Through Cross-Lingual Knowledge Transfer [0.7499722271664147]
  本研究は,エストニア語に対する言語横断学習と単言語事前学習の併用が与える影響について考察する。 高品質な英語指導からエストニア語への言語間知識の伝達を実演し、コモンセンス推論の改善をもたらす。 ベストモデルである textscLlammas は、エストニア人のための最初のオープンソースの命令フォロー型 LLM である。
  論文  参考訳（メタデータ） (2024-04-05T11:52:02Z)
• German Text Simplification: Finetuning Large Language Models with Semi-Synthetic Data [0.7059555559002345]
  本研究は,ドイツ語テキストの文書レベルの簡易化において,合成生成データを用いて生成モデルを訓練する手法である。 このデータに最大13億のパラメータを持つ大規模言語モデルを精査し、その性能を評価します。
  論文  参考訳（メタデータ） (2024-02-16T13:28:44Z)
• Unsupervised Lexical Simplification with Context Augmentation [55.318201742039]
  対象単語とその文脈が与えられた場合、対象コンテキストと単言語データからサンプル化した追加コンテキストに基づいて置換語を生成する。 我々は、TSAR-2022共有タスクにおいて、英語、ポルトガル語、スペイン語で実験を行い、我々のモデルは、すべての言語で、他の教師なしシステムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-01T05:48:05Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect [0.0]
  表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。 構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。 我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
  論文  参考訳（メタデータ） (2021-11-25T15:49:50Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)
• Abstractive Text Summarization based on Language Model Conditioning and Locality Modeling [4.525267347429154]
  BERT言語モデルに基づいてTransformerベースのニューラルモデルをトレーニングする。 さらに,BERTウィンドウサイズよりも長いテキストのチャンクワイズ処理が可能なBERTウィンドウ方式を提案する。 我々のモデルの結果は、CNN/Daily Mailデータセットのベースラインと最先端モデルと比較される。
  論文  参考訳（メタデータ） (2020-03-29T14:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。