論文の概要: CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation

• arxiv url: http://arxiv.org/abs/2506.19952v1
• Date: Tue, 24 Jun 2025 18:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.511301
• Title: CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation
• Title（参考訳）: サイクル蒸留:サイクル蒸留によるLCMを用いたブートストラップ機械翻訳
• Authors: Deepon Halder, Thanmay Jayakumar, Raj Dabre,
• Abstract要約: CycleDistillはモノリンガルコーパスからゼロまたは少数ショットMTを介して合成平行コーパスを生成するブートストラップ方式である。 単言語コーパスにのみ依存することで、CycleDistillは高品質な機械翻訳を実現し、最初のイテレーションで20-30 chrFポイントを超える数ショットのベースラインモデルを改善することができる。 また, 蒸留プロセスにおけるソフトマックス活性化の効果について検討し, 翻訳品質の軽度改善を観察した。
• 参考スコア（独自算出の注目度）: 10.892677818915255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs), despite their ability to perform few-shot machine translation (MT), often lag behind dedicated MT systems trained on parallel corpora, which are crucial for high quality machine translation (MT). However, parallel corpora are often scarce or non-existent for low-resource languages. In this paper, we propose CycleDistill, a bootstrapping approach leveraging LLMs and few-shot translation to obtain high-quality MT systems. CycleDistill involves iteratively generating synthetic parallel corpora from monolingual corpora via zero- or few-shot MT, which is then used to fine-tune the model that was used for generating said data for MT. CycleDistill does not need parallel corpora beyond 1 to 4 few-shot examples, and in our experiments focusing on three Indian languages, by relying solely on monolingual corpora, it can achieve high-quality machine translation, improving upon a few-shot baseline model by over 20-30 chrF points on average in the first iteration. We also study the effect of leveraging softmax activations during the distillation process and observe mild improvements in translation quality.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、少数ショット機械翻訳 (MT) を行う能力にもかかわらず、しばしば高性能機械翻訳 (MT) に不可欠な並列コーパスで訓練された専用のMTシステムよりも遅れている。 しかし、並列コーパスは低リソース言語では少ないか存在しないことが多い。 本稿では,LLMと少数ショット翻訳を利用して高品質MTシステムを実現するブートストラップ手法であるCycleDistillを提案する。 CycleDistillは、モノリンガルコーパスのみに頼って、3つのインド言語に焦点を当てた実験では、高品質な機械翻訳を実現し、最初のイテレーションで平均20～30 chrF以上のベースラインモデルを改良し、ゼロまたは少数ショットMTを用いてモノリンガルコーパスから合成並列コーパスを反復的に生成する。 また, 蒸留プロセスにおけるソフトマックス活性化の効果について検討し, 翻訳品質の軽度改善を観察した。

関連論文リスト

• Trans-Zero: Self-Play Incentivizes Large Language Models for Multilingual Translation Without Parallel Data [64.4458540273004]
  言語モデル(LLM)の単言語データと本質的な多言語知識のみを活用するセルフプレイフレームワークを提案する。 実験により、このアプローチは大規模並列データに基づいて訓練されたモデルの性能と一致するだけでなく、非英語翻訳の方向でも優れていることが示された。
  論文  参考訳（メタデータ） (2025-04-20T16:20:30Z)
• Quality or Quantity? On Data Scale and Diversity in Adapting Large Language Models for Low-Resource Translation [62.202893186343935]
  低リソース言語に大規模言語モデルを適用するのに何が必要かについて検討する。 我々は、事前トレーニングとスーパーバイザードファインチューニング(SFT)の間に並列データが重要であることを示す。 2つの低リソース言語群にまたがる3つの LLM 実験により,本研究の一般化可能性を示す一貫した傾向が示された。
  論文  参考訳（メタデータ） (2024-08-23T00:59:38Z)
• Machine Translation for Ge'ez Language [0.0]
  Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。 言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。 また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
  論文  参考訳（メタデータ） (2023-11-24T14:55:23Z)
• Boosting Unsupervised Machine Translation with Pseudo-Parallel Data [2.900810893770134]
  本研究では,モノリンガルコーパスから抽出した擬似並列文対と,モノリンガルコーパスから逆転写された合成文対を利用する訓練戦略を提案する。 裏書きされたデータのみに基づいてトレーニングされたベースラインに対して、最大14.5 BLEUポイント(ウクライナ語)の改善を達成しました。
  論文  参考訳（メタデータ） (2023-10-22T10:57:12Z)
• Distilling Efficient Language-Specific Models for Cross-Lingual Transfer [75.32131584449786]
  多言語変換器(MMT)は多言語間変換学習に広く用いられている。 MMTの言語カバレッジは、モデルサイズ、推論時間、エネルギ、ハードウェアコストの点で、必要以上にコストがかかる。 本稿では,MMTから圧縮された言語固有のモデルを抽出し,言語間移動のための元のMTのキャパシティを保持することを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:52Z)
• IsometricMT: Neural Machine Translation for Automatic Dubbing [9.605781943224251]
  この研究は、トランスフォーマーモデルが直接学習して、ソース長と密接に一致する出力を生成することができる自己学習アプローチを導入している。 TED Talkデータに基づく4つの言語対と公開ベンチマークの結果を報告する。
  論文  参考訳（メタデータ） (2021-12-16T08:03:20Z)
• Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task [95.06453182273027]
  本報告では、大規模多言語機械翻訳におけるWMT21共有タスクのためのMicrosoftの機械翻訳システムについて述べる。 共有タスクへのモデル提出はDeltaLMnotefooturlhttps://aka.ms/deltalmで行われました。 最終提出は自動評価基準で3トラックにランクインした。
  論文  参考訳（メタデータ） (2021-11-03T09:16:17Z)
• Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
  mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。 我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
  論文  参考訳（メタデータ） (2020-10-07T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。