論文の概要: PMMT: Preference Alignment in Multilingual Machine Translation via LLM Distillation

• arxiv url: http://arxiv.org/abs/2410.11410v1
• Date: Tue, 15 Oct 2024 08:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:04:07.891521
• Title: PMMT: Preference Alignment in Multilingual Machine Translation via LLM Distillation
• Title（参考訳）: PMMT:LLM蒸留による多言語機械翻訳における優先アライメント
• Authors: Shuqiao Sun, Yutong Yao, Peiwen Wu, Feijun Jiang, Kaifu Zhang,
• Abstract要約: 特定の翻訳嗜好を持つ大規模多言語並列コーパスを生成するための新しい手法を提案する。 実験の結果,提案手法は人間の嗜好に一致した翻訳タスクにおいて,大きなマージンでリードしていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.667901787486126
• License:
• Abstract: Translation is important for cross-language communication, and many efforts have been made to improve its accuracy. However, less investment is conducted in aligning translations with human preferences, such as translation tones or styles. In this paper, a new method is proposed to effectively generate large-scale multilingual parallel corpora with specific translation preferences using Large Language Models (LLMs). Meanwhile, an automatic pipeline is designed to distill human preferences into smaller Machine Translation (MT) models for efficiently and economically supporting large-scale calls in online services. Experiments indicate that the proposed method takes the lead in translation tasks with aligned human preferences by a large margin. Meanwhile, on popular public benchmarks like WMT and Flores, on which our models were not trained, the proposed method also shows a competitive performance compared to SOTA works.
• Abstract（参考訳）: 翻訳は言語間通信において重要であり,その精度向上に多くの努力がなされている。 しかし、翻訳音やスタイルなど、人間の好みに合わせた翻訳にはあまり投資をしない。 本稿では,Large Language Models (LLMs) を用いて,特定の翻訳嗜好を持つ大規模多言語並列コーパスを効果的に生成する手法を提案する。 一方、自動パイプラインは、オンラインサービスにおける大規模呼び出しを効率的かつ経済的に支援するために、人間の好みをより小さな機械翻訳(MT)モデルに蒸留するように設計されている。 実験の結果,提案手法は人間の嗜好に一致した翻訳タスクにおいて,大きなマージンでリードしていることが明らかとなった。 一方、我々のモデルが訓練されていないWMTやFloresのような一般的な公開ベンチマークでは、提案手法はSOTAの手法と比較して競合する性能を示している。

関連論文リスト

• A Novel Paradigm Boosting Translation Capabilities of Large Language Models [11.537249547487045]
  本論文は,一貫した単言語データを用いた二次事前学習,インターリニアテキストフォーマット文書による継続事前学習,および教師付きファインチューニングのためのソース・ランゲージ・コンスタント・インストラクションの活用という,3つの段階からなる新しいパラダイムを提案する。 Llama2モデルを用いた実験結果,特に中国語-Llama2を用いて,LLMの翻訳能力の向上を実証した。
  論文  参考訳（メタデータ） (2024-03-18T02:53:49Z)
• Revisiting Machine Translation for Cross-lingual Classification [91.43729067874503]
  この分野のほとんどの研究は、機械翻訳コンポーネントではなく多言語モデルに焦点を当てている。 より強力なMTシステムを用いて、原文のトレーニングと機械翻訳テキストの推論のミスマッチを緩和することにより、翻訳テストは以前想定していたよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T16:56:10Z)
• Improving Multilingual Neural Machine Translation System for Indic Languages [0.0]
  低リソース言語翻訳に関わる問題に対処する多言語ニューラルマシン翻訳(MNMT)システムを提案する。 提案モデルの実現には最先端のトランスフォーマーアーキテクチャを用いる。 大量のデータに対する試行は、従来のモデルよりもその優位性を明らかにしている。
  論文  参考訳（メタデータ） (2022-09-27T09:51:56Z)
• Building Multilingual Machine Translation Systems That Serve Arbitrary X-Y Translations [75.73028056136778]
  任意のX-Y翻訳方向に対応するMNMTシステムを実際に構築する方法を示す。 また,本提案手法を,実用的な展開シナリオに対応するため,極めて大規模なデータ設定で検討した。
  論文  参考訳（メタデータ） (2022-06-30T02:18:15Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
  ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。 不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:51:03Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。