論文の概要: Simultaneous Machine Translation with Large Language Models

• arxiv url: http://arxiv.org/abs/2309.06706v1
• Date: Wed, 13 Sep 2023 04:06:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 15:31:40.646375
• Title: Simultaneous Machine Translation with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた同時機械翻訳
• Authors: Minghan Wang, Jinming Zhao, Thuy-Trang Vu, Fatemeh Shiri, Ehsan Shareghi, Gholamreza Haffari
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクを解く能力を示した。 我々は,LSMが追加の訓練を必要とせずにSimulMTに参加することができる簡易かつ効果的な混合政策を導入する。 Llama2-7B-chatでMUST-Cデータセットから9つの言語ペアを用いて行った実験は、LLMが専用のSimulMTモデルに匹敵する翻訳品質とレイテンシを実現できることを示した。
• 参考スコア（独自算出の注目度）: 51.470478122113356
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLM) have demonstrated their abilities to solve various natural language processing tasks through dialogue-based interactions. For instance, research indicates that LLMs can achieve competitive performance in offline machine translation tasks for high-resource languages. However, applying LLMs to simultaneous machine translation (SimulMT) poses many challenges, including issues related to the training-inference mismatch arising from different decoding patterns. In this paper, we explore the feasibility of utilizing LLMs for SimulMT. Building upon conventional approaches, we introduce a simple yet effective mixture policy that enables LLMs to engage in SimulMT without requiring additional training. Furthermore, after Supervised Fine-Tuning (SFT) on a mixture of full and prefix sentences, the model exhibits significant performance improvements. Our experiments, conducted with Llama2-7B-chat on nine language pairs from the MUST-C dataset, demonstrate that LLM can achieve translation quality and latency comparable to dedicated SimulMT models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は対話に基づく対話を通して様々な自然言語処理タスクを解く能力を示した。 例えば、研究によると、llmは高リソース言語のオフライン機械翻訳タスクにおいて競争力のある性能を達成できる。 しかし、LLMを同時機械翻訳(SimulMT)に適用すると、異なる復号パターンから生じるトレーニング-推論ミスマッチに関する問題など、多くの課題が生じる。 本稿では,SimulMT における LLM の利用可能性について検討する。 従来のアプローチを基礎として,LLMがSimulMTに参加するために,追加のトレーニングを必要とせず,簡便かつ効果的な混合ポリシーを導入する。 さらに,フル文とプレフィックス文を混合したSFT(Supervised Fine-Tuning)では,性能が大幅に向上した。 Llama2-7B-chatを用いてMUST-Cデータセットから9つの言語ペアを用いて実験を行い、LLMが専用のSimulMTモデルに匹敵する翻訳品質とレイテンシを達成できることを実証した。

関連論文リスト

• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [56.212477256251965]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)
• Prompt Optimization of Large Language Model for Interactive Tasks without Gradient and Demonstrations [11.590185329638809]
  大規模言語モデル(LLM)は言語能力に優れるが、対話型タスクを独立して解く際には課題に直面している。 グラデーションアクセスや広範囲な実証を行うことなく,LSMがこれらの課題に対処できる新しいアプローチ LLM-PO を提案する。 HotpotQAの実験では、LLM-POはテキスト内学習(ICL)のベースラインよりも高いもしくは同等の成功率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-24T11:52:23Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [80.27723082470179]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [57.101216646004666]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 我々は102言語でXGLM, OPT, BLOOMZ, ChatGPTなどの人気のあるLLMを評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。