論文の概要: LLMs Can Achieve High-quality Simultaneous Machine Translation as Efficiently as Offline

• arxiv url: http://arxiv.org/abs/2504.09570v1
• Date: Sun, 13 Apr 2025 13:45:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:01.003984
• Title: LLMs Can Achieve High-quality Simultaneous Machine Translation as Efficiently as Offline
• Title（参考訳）: LLMはオフラインとして効率よく高品質な機械翻訳を実現することができる
• Authors: Biao Fu, Minpeng Liao, Kai Fan, Chengxi Li, Liang Zhang, Yidong Chen, Xiaodong Shi,
• Abstract要約: 大言語モデル(LLM)は、単純なプロンプトで「[src lang]から[tgt lang]に次の文を変換する」という単純なプロンプトでも、オフライン機械翻訳において優れた性能を発揮する。 我々は、同時機械翻訳(SiMT)のための教師付き微調整データの構築を含む新しいパラダイムを提案する。 提案手法は,様々なSiMTベンチマークにおける最先端性能を実現し,オフライン翻訳の本来の能力を維持する。
• 参考スコア（独自算出の注目度）: 16.124385656402744
• License:
• Abstract: When the complete source sentence is provided, Large Language Models (LLMs) perform excellently in offline machine translation even with a simple prompt "Translate the following sentence from [src lang] into [tgt lang]:". However, in many real scenarios, the source tokens arrive in a streaming manner and simultaneous machine translation (SiMT) is required, then the efficiency and performance of decoder-only LLMs are significantly limited by their auto-regressive nature. To enable LLMs to achieve high-quality SiMT as efficiently as offline translation, we propose a novel paradigm that includes constructing supervised fine-tuning (SFT) data for SiMT, along with new training and inference strategies. To replicate the token input/output stream in SiMT, the source and target tokens are rearranged into an interleaved sequence, separated by special tokens according to varying latency requirements. This enables powerful LLMs to learn read and write operations adaptively, based on varying latency prompts, while still maintaining efficient auto-regressive decoding. Experimental results show that, even with limited SFT data, our approach achieves state-of-the-art performance across various SiMT benchmarks, and preserves the original abilities of offline translation. Moreover, our approach generalizes well to document-level SiMT setting without requiring specific fine-tuning, even beyond the offline translation model.
• Abstract（参考訳）: 完全なソース文が提供されると、"[src lang]から[tgt lang]:"への後続文の変換"という単純なプロンプトを伴っても、LLM(Large Language Models)はオフライン機械翻訳において優れた性能を発揮する。 しかし、実際の多くのシナリオでは、ソーストークンはストリーミング方式で到着し、同時機械翻訳(SiMT)が必要であり、デコーダのみのLCMの効率と性能は自動回帰性によって著しく制限される。 LLMがオフライン翻訳と同じくらい効率よく高品質なSiMTを実現するために、新しいトレーニングと推論戦略とともに、SiMTのための教師付き微調整(SFT)データの構築を含む新しいパラダイムを提案する。 SiMTでトークン入力/出力ストリームを複製するために、ソースとターゲットトークンをインターリーブシーケンスに再配置し、様々なレイテンシ要求に応じて特別なトークンで分離する。 これにより、強力なLCMは様々な遅延プロンプトに基づいて読み書き操作を適応的に学習できると同時に、効率的な自動回帰デコードも維持できる。 実験の結果,SFTデータに制限があるにもかかわらず,本手法は様々なSiMTベンチマークにおいて最先端の性能を達成し,オフライン翻訳の本来の能力を維持していることがわかった。 さらに,本手法は,オフライン翻訳モデルを超えて,特定の微調整を必要とせず,文書レベルのSiMT設定をうまく一般化する。

関連論文リスト

• Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu [53.437954702561065]
  In-context machine translation (MT) with large language model (LLMs) は低リソースMTにおいて有望な手法である。 本研究では,各資源とその品質が満州語による翻訳性能に与える影響を体系的に検討した。 結果から,良質な辞書や優れた並列例は有用であり,文法はほとんど役に立たないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T14:53:49Z)
• PsFuture: A Pseudo-Future-based Zero-Shot Adaptive Policy for Simultaneous Machine Translation [8.1299957975257]
  同時機械翻訳(SiMT)では、ストリーミングソーストークンが使用されるため、ターゲットトークンをリアルタイムで生成する必要がある。 我々は、SiMTのための最初のゼロショット適応型リード/ライトポリシーであるPsFutureを提案する。 我々は、SiMTアプリケーションのためのオフライン翻訳モデルを調整するために、新しいトレーニング戦略であるPrefix-to-Full(P2F)を導入する。
  論文  参考訳（メタデータ） (2024-10-05T08:06:33Z)
• Blending LLMs into Cascaded Speech Translation: KIT's Offline Speech Translation System for IWSLT 2024 [61.189875635090225]
  大規模言語モデル (LLM) は現在,自動音声認識 (ASR) や機械翻訳 (MT) ,さらにはエンドツーエンド音声翻訳 (ST) など,さまざまなタスクを探索中である。
  論文  参考訳（メタデータ） (2024-06-24T16:38:17Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• SiLLM: Large Language Models for Simultaneous Machine Translation [41.303764786790616]
  同時機械翻訳(SiMT)は、原文を読みながら翻訳を生成する。 既存のSiMT手法では、ポリシーを同時に決定し、翻訳を生成するために単一のモデルを採用している。 我々は2つのサブタスクを別々のエージェントに委譲するSiLLMを提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:23:34Z)
• TransLLaMa: LLM-based Simultaneous Translation System [18.27477980076409]
  Decoderのみの大規模言語モデル(LLM)は,特別な"待機"トークンを生成することで,入力セグメンテーションを直接制御できることを示す。 これにより、別個の政策の必要性が排除され、LLMは英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。 また, GPT-4 などのクローズドソースモデルの評価を行い, 事前訓練をせずに SiMT タスクの実行を奨励する結果を示した。
  論文  参考訳（メタデータ） (2024-02-07T07:39:27Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding [73.32763904267186]
  大きな言語モデル(LLM)は、優れた翻訳品質を達成する可能性を示す。 我々は,NMTシステムを事前翻訳モデルとして扱うCooperative Decoding(CoDec)と,MT指向LLMを補足解として提案する。
  論文  参考訳（メタデータ） (2023-11-06T03:41:57Z)
• Simultaneous Machine Translation with Large Language Models [51.470478122113356]
  我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。 その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-09-13T04:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。