論文の概要: NusaMT-7B: Machine Translation for Low-Resource Indonesian Languages with Large Language Models

• arxiv url: http://arxiv.org/abs/2410.07830v1
• Date: Thu, 10 Oct 2024 11:33:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 14:36:04.997910
• Title: NusaMT-7B: Machine Translation for Low-Resource Indonesian Languages with Large Language Models
• Title（参考訳）: NusaMT-7B:大規模言語モデルを持つ低リソースインドネシア語に対する機械翻訳
• Authors: William Tan, Kevin Zhu,
• Abstract要約: 本稿では,低リソースインドネシア語用機械翻訳モデルであるNusaMT-7Bを紹介する。 提案手法は, 単言語データ, Supervised Fine-Tuning (SFT) , 自己学習, LLMベースのデータクリーナーを併用し, 並列文のノイズを低減する。 この結果から,LLMの微調整により,低リソース言語への翻訳品質が向上し,言語保存や異文化間コミュニケーションに寄与することが示唆された。
• 参考スコア（独自算出の注目度）: 2.186901738997927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated exceptional promise in translation tasks for high-resource languages. However, their performance in low-resource languages is limited by the scarcity of both parallel and monolingual corpora, as well as the presence of noise. Consequently, such LLMs suffer with alignment and have lagged behind State-of-The-Art (SoTA) neural machine translation (NMT) models in these settings. This paper introduces NusaMT-7B, an LLM-based machine translation model for low-resource Indonesian languages, starting with Balinese and Minangkabau. Leveraging the pretrained LLaMA2-7B, our approach integrates continued pre-training on monolingual data, Supervised Fine-Tuning (SFT), self-learning, and an LLM-based data cleaner to reduce noise in parallel sentences. In the FLORES-200 multilingual translation benchmark, NusaMT-7B outperforms SoTA models in the spBLEU metric by up to +6.69 spBLEU in translations into Balinese and Minangkabau, but underperforms by up to -3.38 spBLEU in translations into higher-resource languages. Our results show that fine-tuned LLMs can enhance translation quality for low-resource languages, aiding in linguistic preservation and cross-cultural communication.
• Abstract（参考訳）: LLM(Large Language Models)は、高ソース言語の翻訳タスクにおいて、例外的な可能性を実証している。 しかし、低リソース言語におけるそれらの性能は、パラレルコーパスとモノリンガルコーパスの両方の不足とノイズの存在によって制限されている。 その結果、これらのLLMはアライメントに悩まされ、これらの設定でState-of-The-Art(SoTA)ニューラルマシン翻訳(NMT)モデルに遅れを取っている。 本稿では,バリンセとミナンカバウを皮切りに,低リソースのインドネシア語用機械翻訳モデルであるNusaMT-7Bを紹介する。 事前学習したLLaMA2-7Bを活用することで,単言語データ,スーパーバイザードファインチューニング(SFT),自己学習,LLMベースのデータクリーナーを併用し,並列文のノイズ低減を実現した。 FLORES-200の多言語翻訳ベンチマークでは、NusaMT-7Bは、バリンゼ語とミナンカバウ語への翻訳では最大+6.69 spBLEUでSoTAモデルより優れているが、高リソース言語への翻訳では最大-3.38 spBLEUで性能が劣っている。 この結果から,LLMの微調整により,低リソース言語への翻訳品質が向上し,言語保存や異文化間コミュニケーションに寄与することが示唆された。

関連論文リスト

• Mufu: Multilingual Fused Learning for Low-Resource Translation with LLM [32.9914093870763]
  自動生成された多言語候補の選択と、プロンプト内の不正確な翻訳を補正する命令を含む。 Mufuは、翻訳タスクをポストされたタスクに変換する。 Flores-200データセット上でのEn-XX翻訳実験により,Museスタイルのプロンプトに対して微調整されたLLMは,高品質な補助翻訳候補に対して堅牢であることが示された。
  論文  参考訳（メタデータ） (2024-09-20T23:48:47Z)
• Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages [2.53740603524637]
  機械翻訳モデル(MT)は優れた多言語表現を生成し、低リソース言語でも強力な翻訳性能が得られる。 本研究は,MTエンコーダをサンプル効率のよい自己蒸留法により,言語バックボーンに直接組み込むことにより,両世界のベストを得られる。 MT-LLMは、MTエンコーダから固有の多言語表現アライメントを保持しており、低リソース言語は英語中心のLLMに埋め込まれた豊富な知識を取り入れることができる。
  論文  参考訳（メタデータ） (2024-06-18T16:00:20Z)
• Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language [1.1702440973773898]
  本研究では,Timor-Lesteで話される低音源のオーストロネシア語であるMambaiへの英語翻訳における大規模言語モデルの利用について検討した。 提案手法は, 並列文と辞書エントリの戦略的な選択と, プロンプトのための手法である。 辞書をインプロンプトに含め,-IDFで検索した文とセマンティック埋め込みを混合することにより,翻訳品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-07T05:04:38Z)
• Boosting Unsupervised Machine Translation with Pseudo-Parallel Data [2.900810893770134]
  本研究では,モノリンガルコーパスから抽出した擬似並列文対と,モノリンガルコーパスから逆転写された合成文対を利用する訓練戦略を提案する。 裏書きされたデータのみに基づいてトレーニングされたベースラインに対して、最大14.5 BLEUポイント(ウクライナ語)の改善を達成しました。
  論文  参考訳（メタデータ） (2023-10-22T10:57:12Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Towards Making the Most of Multilingual Pretraining for Zero-Shot Neural Machine Translation [74.158365847236]
  SixT++は、100のソース言語をサポートする強力な多言語NMTモデルであるが、たった6つのソース言語からの並列データセットで一度トレーニングされている。 CRISSとm2m-100は、それぞれ7.2と5.0BLEUの2つの強い多言語NMTシステムより大幅に優れていた。
  論文  参考訳（メタデータ） (2021-10-16T10:59:39Z)
• Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation [53.22775597051498]
  我々は,mbart を未熟な言語に効果的に適用するための,継続的な事前学習フレームワークを提案する。 その結果,mBARTベースラインの微調整性能を一貫して改善できることが示された。 私たちのアプローチは、両方の言語が元のmBARTの事前トレーニングで見られる翻訳ペアのパフォーマンスを高めます。
  論文  参考訳（メタデータ） (2021-05-09T14:49:07Z)
• Reusing a Pretrained Language Model on Languages with Limited Corpora for Unsupervised NMT [129.99918589405675]
  本稿では,オープンソース言語上でのみ事前訓練されたLMを再利用する効果的な手法を提案する。 モノリンガルLMは両言語で微調整され、UNMTモデルの初期化に使用される。 我々のアプローチであるRE-LMは、英語・マケドニア語(En-Mk)と英語・アルバニア語(En-Sq)の競合言語間事前学習モデル(XLM)より優れています。
  論文  参考訳（メタデータ） (2020-09-16T11:37:10Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。