論文の概要: On Instruction-Finetuning Neural Machine Translation Models

• arxiv url: http://arxiv.org/abs/2410.05553v1
• Date: Mon, 7 Oct 2024 23:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:58:21.913771
• Title: On Instruction-Finetuning Neural Machine Translation Models
• Title（参考訳）: 命令型ニューラルネットワーク翻訳モデルについて
• Authors: Vikas Raunak, Roman Grundkiewicz, Marcin Junczys-Dowmunt,
• Abstract要約: ニューラルネットワーク翻訳(NMT)モデルのための命令微調整を導入する。 我々の研究は、従来のNMTモデルの命令追従能力を示す最初のものの一つである。
• 参考スコア（独自算出の注目度）: 13.801102065766777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we introduce instruction finetuning for Neural Machine Translation (NMT) models, which distills instruction following capabilities from Large Language Models (LLMs) into orders-of-magnitude smaller NMT models. Our instruction-finetuning recipe for NMT models enables customization of translations for a limited but disparate set of translation-specific tasks. We show that NMT models are capable of following multiple instructions simultaneously and demonstrate capabilities of zero-shot composition of instructions. We also show that through instruction finetuning, traditionally disparate tasks such as formality-controlled machine translation, multi-domain adaptation as well as multi-modal translations can be tackled jointly by a single instruction finetuned NMT model, at a performance level comparable to LLMs such as GPT-3.5-Turbo. To the best of our knowledge, our work is among the first to demonstrate the instruction-following capabilities of traditional NMT models, which allows for faster, cheaper and more efficient serving of customized translations.
• Abstract（参考訳）: 本研究では,Large Language Models (LLMs) から命令追従能力を抽出したニューラル・マシン・トランスフォーメーション(NMT)モデルの命令微調整について述べる。 NMTモデルのための命令ファインタニングのレシピは、限定的だが異なる翻訳特化タスクのセットに対して、翻訳のカスタマイズを可能にする。 NMTモデルは複数の命令を同時に追従でき、命令のゼロショット合成の能力を示す。 また,命令微調整により,GPT-3.5-TurboなどのLLMに匹敵する性能レベルで,形式性制御された機械翻訳やマルチドメイン適応,マルチモーダル翻訳などの従来とは異なるタスクを単一命令微調整NMTモデルで共同で行うことができることを示す。 我々の知る限り、我々の研究は、従来のNTTモデルの命令追従能力を示す最初のものの一つであり、より速く、安価で、より効率的な翻訳提供を可能にします。

関連論文リスト

• Towards Zero-Shot Multimodal Machine Translation [64.9141931372384]
  本稿では,マルチモーダル機械翻訳システムの学習において,完全教師付きデータの必要性を回避する手法を提案する。 我々の手法はZeroMMTと呼ばれ、2つの目的の混合で学習することで、強いテキストのみの機械翻訳(MT)モデルを適応させることである。 本手法が完全に教師付きトレーニングデータを持たない言語に一般化されることを証明するため,CoMMuTE評価データセットをアラビア語,ロシア語,中国語の3言語に拡張した。
  論文  参考訳（メタデータ） (2024-07-18T15:20:31Z)
• Direct Neural Machine Translation with Task-level Mixture of Experts models [1.2338729811609357]
  ダイレクト・ニューラル・マシン・トランスレーション (Direct Neural Machine Translation, NMT) は、2つの非英語言語間のテキストを翻訳する。 Task-level Mixture of Expert Model (Task-level MoE)は、多数の言語ペアに対して有望なNMT性能を示す。
  論文  参考訳（メタデータ） (2023-10-18T18:19:45Z)
• CLIPTrans: Transferring Visual Knowledge with Pre-trained Models for Multimodal Machine Translation [31.911593690549633]
  マルチモーダル機械翻訳(MMT)システムは、視覚的知識でニューラルネットワーク翻訳(NMT)を強化する。 注釈付き多言語視覚言語データが不足しているため、従来の作業は、強力なMTTモデルをゼロからトレーニングする際の課題に直面していた。 独立に訓練されたマルチモーダルM-CLIPと多言語mBARTを適応させるCLIPTransを提案する。
  論文  参考訳（メタデータ） (2023-08-29T11:29:43Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT [64.1841519527504]
  ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
  論文  参考訳（メタデータ） (2021-09-03T09:38:50Z)
• Language Models are Good Translators [63.528370845657896]
  単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。 ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-25T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。