論文の概要: Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis

• arxiv url: http://arxiv.org/abs/2412.05862v2
• Date: Tue, 25 Feb 2025 18:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:28.437273
• Title: Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis
• Title（参考訳）: オープンソース大言語モデルを用いたドメイン特化翻訳:資源指向分析
• Authors: Aman Kassahun Wassie, Mahdi Molaei, Yasmin Moslem,
• Abstract要約: オープンソースの自己回帰型デコーダ専用大言語モデル(LLM)のドメイン固有翻訳性能とタスク指向機械翻訳(MT)モデルとの比較を行った。 実験では,医学領域に焦点をあて,英語とフランス語,英語とポルトガル語,英語とスワヒリ,スワヒリと英語の4つの言語ペアについて検討した。 NLLB-200 3.3Bは、医学翻訳における8Bパラメータの範囲で、全てのLLMを上回ります。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this work, we compare the domain-specific translation performance of open-source autoregressive decoder-only large language models (LLMs) with task-oriented machine translation (MT) models. Our experiments focus on the medical domain and cover four language pairs with varied resource availability: English-to-French, English-to-Portuguese, English-to-Swahili, and Swahili-to-English. Despite recent advancements, LLMs exhibit a clear gap in specialized translation quality compared to multilingual encoder-decoder MT models such as NLLB-200. In three out of four language directions in our study, NLLB-200 3.3B outperforms all LLMs in the size range of 8B parameters in medical translation. While fine-tuning LLMs such as Mistral and Llama improves their performance at medical translation, these models still fall short compared to fine-tuned NLLB-200 3.3B models. Our findings highlight the ongoing need for specialized MT models to achieve higher-quality domain-specific translation, especially in medium-resource and low-resource settings. As larger LLMs outperform their 8B variants, this also encourages pre-training domain-specific medium-sized LMs to improve quality and efficiency in specialized translation tasks.
• Abstract（参考訳）: 本研究では,オープンソースの自己回帰型デコーダのみの大規模言語モデル(LLM)とタスク指向機械翻訳(MT)モデルとのドメイン固有翻訳性能を比較した。 実験では,医学領域に焦点をあて,英語とフランス語,英語とポルトガル語,英語とスワヒリ,スワヒリと英語の4つの言語ペアについて検討した。 近年の進歩にもかかわらず、LLMはNLLB-200のような多言語エンコーダ・デコーダMTモデルと比較して、特殊翻訳の品質に明確なギャップがある。 NLLB-200 3.3Bは、医学翻訳における8Bパラメータの範囲で、全てのLLMを上回ります。 Mistral や Llama のような微調整 LLM は医療翻訳における性能を向上するが、これらのモデルは細調整された NLLB-200 3.3B モデルと比較しても劣っている。 本研究は,高品質なドメイン特化翻訳を実現するため,特に中規模・低リソース環境において,特殊なMTモデルの必要性を浮き彫りにするものである。 より大きなLLMは8Bバージョンよりも優れているため、ドメイン固有の中規模のLMを事前訓練することで、特殊な翻訳タスクの品質と効率を向上させることができる。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• NusaMT-7B: Machine Translation for Low-Resource Indonesian Languages with Large Language Models [2.186901738997927]
  本稿では,低リソースインドネシア語用機械翻訳モデルであるNusaMT-7Bを紹介する。 提案手法は, 単言語データ, Supervised Fine-Tuning (SFT) , 自己学習, LLMベースのデータクリーナーを併用し, 並列文のノイズを低減する。 この結果から,LLMの微調整により,低リソース言語への翻訳品質が向上し,言語保存や異文化間コミュニケーションに寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-10T11:33:25Z)
• What do Large Language Models Need for Machine Translation Evaluation? [12.42394213466485]
  大規模言語モデル(LLM)は、微調整された多言語事前訓練言語モデルに匹敵する結果が得られる。 本稿では,LLMの機械翻訳品質を評価するために,ソース,参照,翻訳エラー,ガイドラインなどの翻訳情報が必要であるかを検討する。
  論文  参考訳（メタデータ） (2024-10-04T09:50:45Z)
• Mufu: Multilingual Fused Learning for Low-Resource Translation with LLM [32.9914093870763]
  自動生成された多言語候補の選択と、プロンプト内の不正確な翻訳を補正する命令を含む。 Mufuは、翻訳タスクをポストされたタスクに変換する。 Flores-200データセット上でのEn-XX翻訳実験により,Museスタイルのプロンプトに対して微調整されたLLMは,高品質な補助翻訳候補に対して堅牢であることが示された。
  論文  参考訳（メタデータ） (2024-09-20T23:48:47Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages [2.53740603524637]
  機械翻訳モデル(MT)は優れた多言語表現を生成し、低リソース言語でも強力な翻訳性能が得られる。 本研究は,MTエンコーダをサンプル効率のよい自己蒸留法により,言語バックボーンに直接組み込むことにより,両世界のベストを得られる。 MT-LLMは、MTエンコーダから固有の多言語表現アライメントを保持しており、低リソース言語は英語中心のLLMに埋め込まれた豊富な知識を取り入れることができる。
  論文  参考訳（メタデータ） (2024-06-18T16:00:20Z)
• Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language [1.1702440973773898]
  本研究では,Timor-Lesteで話される低音源のオーストロネシア語であるMambaiへの英語翻訳における大規模言語モデルの利用について検討した。 提案手法は, 並列文と辞書エントリの戦略的な選択と, プロンプトのための手法である。 辞書をインプロンプトに含め,-IDFで検索した文とセマンティック埋め込みを混合することにより,翻訳品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-07T05:04:38Z)
• SCALE: Synergized Collaboration of Asymmetric Language Translation Engines [105.8983433641208]
  本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。 STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。 実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-09-29T08:46:38Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Exploring Human-Like Translation Strategy with Large Language Models [93.49333173279508]
  大規模言語モデル(LLM)は、一般的なシナリオにおいて印象的な機能を示している。 本研究は,マルチアスペクト・プロンプトと選択のためのMAPSフレームワークを提案する。 品質推定に基づく選択機構を用いて,ノイズや不ヘッピーな知識を抽出する。
  論文  参考訳（メタデータ） (2023-05-06T19:03:12Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。