論文の概要: Improving Language Models Trained with Translated Data via Continual Pre-Training and Dictionary Learning Analysis

• arxiv url: http://arxiv.org/abs/2405.14277v1
• Date: Thu, 23 May 2024 07:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 18:14:32.502551
• Title: Improving Language Models Trained with Translated Data via Continual Pre-Training and Dictionary Learning Analysis
• Title（参考訳）: 連続的事前学習と辞書学習分析による翻訳データによる学習言語モデルの改善
• Authors: Sabri Boughorbel, MD Rizwan Parvez, Majd Hawasly,
• Abstract要約: 学習言語モデルにおける翻訳と合成データの役割について検討する。 我々はTinyStoriesを英語からアラビア語に翻訳する。 これらの問題を是正するために、我々は、合成された高品質なストーリーの小さなデータセットでモデルを事前訓練する。
• 参考スコア（独自算出の注目度）: 3.16714407449467
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Training LLMs in low resources languages usually utilizes data augmentation with machine translation (MT) from English language. However, translation brings a number of challenges: there are large costs attached to translating and curating huge amounts of content with high-end machine translation solutions, the translated content carries over cultural biases, and if the translation is not faithful and accurate, the quality of the data degrades causing issues in the trained model. In this work we investigate the role of translation and synthetic data in training language models. We translate TinyStories, a dataset of 2.2M short stories for 3-4 year old children, from English to Arabic using the free NLLB-3B MT model. We train a number of story generation models of sizes 1M-33M parameters using this data. We identify a number of quality and task-specific issues in the resulting models. To rectify these issues, we further pre-train the models with a small dataset of synthesized high-quality stories, representing 1\% of the original training data, using a capable LLM in Arabic. We show using GPT-4 as a judge and dictionary learning analysis from mechanistic interpretability that the suggested approach is a practical means to resolve some of the translation pitfalls. We illustrate the improvement through case studies of linguistic issues and cultural bias.
• Abstract（参考訳）: 低資源言語におけるLLMの訓練は、通常、英語からの機械翻訳(MT)によるデータ拡張を利用する。 しかし、翻訳には多くの課題が伴う: ハイエンドの機械翻訳ソリューションで大量のコンテンツを翻訳し、キュレーションするために大量の費用がかかる 翻訳されたコンテンツは文化的バイアスを克服し、翻訳が忠実で正確でない場合は、データの品質が低下し、訓練されたモデルに問題を引き起こす。 本研究では,学習言語モデルにおける翻訳と合成データの役割について検討する。 無料のNLLB-3B MTモデルを用いて英語からアラビア語に翻訳した。 このデータを用いて1M-33Mパラメータのストーリー生成モデルを学習する。 結果のモデルでは、品質やタスク固有の問題をいくつか特定する。 これらの問題を是正するために、アラビア語で有能な LLM を用いて、合成された高品質なストーリーの小さなデータセットでモデルをさらに事前訓練する。 本稿では,GPT-4を判定として使用し,機械論的解釈可能性から辞書の学習分析を行い,提案手法が翻訳の落とし穴のいくつかを解決するための実用的な方法であることを示す。 本稿では,言語問題と文化バイアスのケーススタディを通じて改善について述べる。

関連論文リスト

• How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes [2.0109318570325847]
  ソフトウェア分野の特定の組織からTMを用いたLlama 3モデルの微調整の影響について検討する。 トレーニングセット毎にモデルを微調整し,自動メトリクス,BLEU,chrF++,TER,COMETに基づいて評価する。 以上の結果から,全指標にまたがるより大きなデータセットによる翻訳性能の向上が示された。
  論文  参考訳（メタデータ） (2024-09-05T12:06:38Z)
• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• MALM: Mixing Augmented Language Modeling for Zero-Shot Machine Translation [0.0]
  大規模な事前訓練された言語モデルは、NLPに顕著な進歩をもたらした。 ゼロショット多言語機械翻訳における自己教師付き事前学習とデータ拡張の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2022-10-01T17:01:30Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)
• Multilingual Neural Semantic Parsing for Low-Resourced Languages [1.6244541005112747]
  英語,イタリア語,日本語の新しい多言語意味解析データセットを提案する。 本研究では,事前学習したエンコーダを用いた多言語学習がTOPデータセットのベースラインを大幅に上回ることを示す。 英語データのみに基づいて訓練されたセマンティクスは、イタリア語の文に対して44.9%の精度でゼロショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-07T09:53:02Z)
• Beyond English-Centric Multilingual Machine Translation [74.21727842163068]
  我々は真の多言語多言語翻訳モデルを作成し、100言語のいずれかのペア間で直接翻訳できる。 大規模なマイニングによって生成された教師付きデータで、数千の言語方向をカバーするトレーニングデータセットを構築し、オープンソースにしています。 WMTのベストシングルシステムに競争力を持たせながら、非英語の方向を直接翻訳する場合、非英語モデルに焦点をあてると10 BLEU以上のゲインが得られる。
  論文  参考訳（メタデータ） (2020-10-21T17:01:23Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。