論文の概要: Mufu: Multilingual Fused Learning for Low-Resource Translation with LLM

• arxiv url: http://arxiv.org/abs/2409.13949v1
• Date: Fri, 20 Sep 2024 23:48:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:28:44.050624
• Title: Mufu: Multilingual Fused Learning for Low-Resource Translation with LLM
• Title（参考訳）: Mufu: LLMを用いた低リソース翻訳のための多言語融合学習
• Authors: Zheng Wei Lim, Nitish Gupta, Honglin Yu, Trevor Cohn,
• Abstract要約: 自動生成された多言語候補の選択と、プロンプト内の不正確な翻訳を補正する命令を含む。 Mufuは、翻訳タスクをポストされたタスクに変換する。 Flores-200データセット上でのEn-XX翻訳実験により,Museスタイルのプロンプトに対して微調整されたLLMは,高品質な補助翻訳候補に対して堅牢であることが示された。
• 参考スコア（独自算出の注目度）: 32.9914093870763
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multilingual large language models (LLMs) are great translators, but this is largely limited to high-resource languages. For many LLMs, translating in and out of low-resource languages remains a challenging task. To maximize data efficiency in this low-resource setting, we introduce Mufu, which includes a selection of automatically generated multilingual candidates and an instruction to correct inaccurate translations in the prompt. Mufu prompts turn a translation task into a postediting one, and seek to harness the LLM's reasoning capability with auxiliary translation candidates, from which the model is required to assess the input quality, align the semantics cross-lingually, copy from relevant inputs and override instances that are incorrect. Our experiments on En-XX translations over the Flores-200 dataset show LLMs finetuned against Mufu-style prompts are robust to poor quality auxiliary translation candidates, achieving performance superior to NLLB 1.3B distilled model in 64% of low- and very-low-resource language pairs. We then distill these models to reduce inference cost, while maintaining on average 3.1 chrF improvement over finetune-only baseline in low-resource translations.
• Abstract（参考訳）: 多言語大言語モデル (LLM) は優れた翻訳者であるが、これは主に高リソース言語に限られている。 多くのLLMでは、低リソース言語からの翻訳は依然として難しい課題である。 この低リソース環境でのデータ効率を最大化するために、自動生成された多言語候補の選択と、プロンプト内の不正確な翻訳を訂正する命令を含む無文を導入する。 Mufuは、翻訳タスクをポストティングタスクに変換し、LCMの推論能力を補助的な翻訳候補で活用し、モデルが入力品質を評価し、セマンティクスを言語横断的に整列させ、関連する入力からコピーし、正しくないインスタンスをオーバーライドするように求めている。 Flores-200データセット上でのEn-XX翻訳実験により,Museスタイルのプロンプトに対して微調整されたLLMは,高品質な補助翻訳候補に対して頑健であり,低リソースと低リソースの言語ペアの64%でNLLB 1.3B蒸留モデルよりも優れた性能が得られることが示された。 低リソース翻訳におけるファインチューンのみのベースラインよりも平均3.1 chrFの改善を維持しながら、これらのモデルを蒸留して推論コストを削減する。

関連論文リスト

• NusaMT-7B: Machine Translation for Low-Resource Indonesian Languages with Large Language Models [2.186901738997927]
  本稿では,低リソースインドネシア語用機械翻訳モデルであるNusaMT-7Bを紹介する。 提案手法は, 単言語データ, Supervised Fine-Tuning (SFT) , 自己学習, LLMベースのデータクリーナーを併用し, 並列文のノイズを低減する。 この結果から,LLMの微調整により,低リソース言語への翻訳品質が向上し,言語保存や異文化間コミュニケーションに寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T11:33:25Z)
• X-ALMA: Plug & Play Modules and Adaptive Rejection for Quality Translation at Scale [25.257770733168012]
  大規模言語モデル(LLM)は、様々なNLPタスクで顕著な成功を収めてきたが、主に英語に焦点を当てている。 本稿では,多言語機械翻訳タスクに着目し,言語数よりも品質を優先する。 X-ALMAは、リソースレベルに関係なく、50の異なる言語で最高のパフォーマンスを保証することを約束するモデルである。
  論文  参考訳（メタデータ） (2024-10-04T03:17:27Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language [1.1702440973773898]
  本研究では,Timor-Lesteで話される低音源のオーストロネシア語であるMambaiへの英語翻訳における大規模言語モデルの利用について検討した。 提案手法は, 並列文と辞書エントリの戦略的な選択と, プロンプトのための手法である。 辞書をインプロンプトに含め,-IDFで検索した文とセマンティック埋め込みを混合することにより,翻訳品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-07T05:04:38Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Refining Low-Resource Unsupervised Translation by Language Disentanglement of Multilingual Model [16.872474334479026]
  本稿では,事前訓練された多言語UTTモデルから言語を切り離すための簡単な改良手法を提案する。 我々の手法は、ネパール語、シンハラ語、グジャラート語、ラトビア語、エストニア語、カザフ語への英語の完全な教師なし翻訳作業における芸術の状態を達成している。
  論文  参考訳（メタデータ） (2022-05-31T05:14:50Z)
• Leveraging Monolingual Data with Self-Supervision for Multilingual Neural Machine Translation [54.52971020087777]
  モノリンガルデータを使用することで、マルチリンガルモデルにおける低リソース言語の翻訳品質が大幅に向上する。 自己監督は多言語モデルのゼロショット翻訳品質を改善する。 並列データやバックトランスレーションなしで、ro-en翻訳で最大33のBLEUを得る。
  論文  参考訳（メタデータ） (2020-05-11T00:20:33Z)
• Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation [81.7786241489002]
  ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。 我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。 未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
  論文  参考訳（メタデータ） (2020-04-24T17:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。