論文の概要: Is Small Language Model the Silver Bullet to Low-Resource Languages Machine Translation?

• arxiv url: http://arxiv.org/abs/2503.24102v3
• Date: Fri, 22 Aug 2025 15:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 14:39:45.16958
• Title: Is Small Language Model the Silver Bullet to Low-Resource Languages Machine Translation?
• Title（参考訳）: Small Language Modelは低リソース言語への銀の弾丸か?
• Authors: Yewei Song, Lujun Li, Cedric Lothritz, Saad Ezzini, Lama Sleem, Niccolo Gentile, Radu State, Tegawendé F. Bissyandé, Jacques Klein,
• Abstract要約: 低リソース言語 (LRL) には十分な言語資源がなく、ベンチマークデータセットでは不足している。 本研究では,200言語を対象に,最先端の小型言語モデルを体系的に評価する。
• 参考スコア（独自算出の注目度）: 18.975160361440597
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Low-resource languages (LRLs) lack sufficient linguistic resources and are underrepresented in benchmark datasets, resulting in persistently lower translation quality than high-resource languages, especially in privacy-sensitive and resource-limited contexts. Firstly, this study systematically evaluates state-of-the-art smaller Large Language Models in 200 languages using the FLORES-200 benchmark, highlighting persistent deficiencies and disparities in the translation of LRLs. To mitigate these limitations, we investigate knowledge distillation from large pre-trained teacher models to Small Language Models (SLMs) through supervised fine-tuning. The results show substantial improvements; for example, the translation performance of English to Luxembourgish (EN to LB), measured by the LLM-as-a-Judge score, increases from 0.36 to 0.89 in the validation set for Llama-3.2-3B. We further investigate various fine-tuning configurations and tasks to clarify the trade-offs between data scale and training efficiency, verify that the model retains its general capabilities without significant catastrophic forgetting after training, and explore the distillation benefits to other LRLs on SLMs (Khasi, Assamese, and Ukrainian). In general, this work exposes the limitations and fairness issues of current SLMs in LRL translation and systematically explores the potential of using the distillation of knowledge from large to small models, offering practical, empirically grounded recommendations to improve LRL translation systems
• Abstract（参考訳）: 低リソース言語(LRL)は十分な言語資源を欠き、ベンチマークデータセットでは不足しており、特にプライバシーに敏感でリソース制限のあるコンテキストにおいて、高リソース言語よりも持続的に翻訳品質が低下する。 まず,FLORES-200ベンチマークを用いて200言語における最先端の小型大言語モデルを体系的に評価し,LRLの翻訳における欠点と相違点を明らかにする。 これらの制約を緩和するために,教師による微調整を通じて,教師モデルから小言語モデル(SLM)への知識蒸留について検討する。 LLM-as-a-Judgeスコアによって測定された英語からルクセンブルク語への翻訳性能は、Llama-3.2-3Bの検証セットで0.36から0.89に向上した。 さらに,データスケールとトレーニング効率のトレードオフを明らかにするために,各種の微調整構成やタスクについて検討し,トレーニング後の壊滅的忘れを伴わずに,モデルが一般的な能力を保っていることを確認するとともに,他のLRL(Khasi,Assamese,Ukrainian)に対する蒸留効果を探索する。 一般に、この研究は、LRL翻訳における現在のSLMの限界と公平性の問題を明らかにし、大規模から小規模のモデルから知識を蒸留する可能性について体系的に検討し、LRL翻訳システムを改善するために実践的、実証的に基礎付けられたレコメンデーションを提供する。

関連論文リスト

• TALL -- A Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages [13.416341692917676]
  本稿では,LLMを2つのバイリンガル翻訳モデルに統合したTALL(Trainable Architecture for Enhancing LLM Performance in Low-Resource Languages)を提案する。 ヘブライ語に関する我々の実験は、直接使用、ナイーブ翻訳、微調整アプローチなど、いくつかのベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-06-05T14:02:12Z)
• Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation [33.08089616645845]
  大規模言語モデル(LLM)の出現は機械翻訳(MT)の景観を大きく変えた。 我々は、アンダーリソース設定への効果的な適応を可能にする、少数ショットプロンプト、クロスランガル転送、パラメータ効率の微調整などの手法を解析する。 幻覚, 評価の不整合, 遺伝バイアスなどの持続的課題について検討するとともに, 翻訳品質向上のためのLCM駆動メトリクスの評価を行った。
  論文  参考訳（メタデータ） (2025-04-02T17:26:40Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource Unsupervised Neural Machine Translation [32.76853731410492]
  低リソース言語(LRL)は、限られた並列データによる教師ありニューラルマシン翻訳の課題に直面している。 本稿では,大言語モデルのLRL翻訳能力を高めるために,確率駆動型メタグラフプロンプタ(POMP)を提案する。 本実験は3つのLRLの翻訳品質を著しく改善した。
  論文  参考訳（メタデータ） (2024-01-11T00:03:36Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。