論文の概要: TransLLaMa: LLM-based Simultaneous Translation System
- arxiv url: http://arxiv.org/abs/2402.04636v1
- Date: Wed, 7 Feb 2024 07:39:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 16:14:02.793210
- Title: TransLLaMa: LLM-based Simultaneous Translation System
- Title(参考訳): transllama:llmベースの同時翻訳システム
- Authors: Roman Koshkin, Katsuhito Sudoh and Satoshi Nakamura
- Abstract要約: Decoderのみの大規模言語モデル(LLM)は,特別な"待機"トークンを生成することで,入力セグメンテーションを直接制御できることを示す。
これにより、別個の政策の必要性が排除され、LLMは英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。
また, GPT-4 などのクローズドソースモデルの評価を行い, 事前訓練をせずに SiMT タスクの実行を奨励する結果を示した。
- 参考スコア(独自算出の注目度): 18.27477980076409
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoder-only large language models (LLMs) have recently demonstrated
impressive capabilities in text generation and reasoning. Nonetheless, they
have limited applications in simultaneous machine translation (SiMT), currently
dominated by encoder-decoder transformers. This study demonstrates that, after
fine-tuning on a small dataset comprising causally aligned source and target
sentence pairs, a pre-trained open-source LLM can control input segmentation
directly by generating a special "wait" token. This obviates the need for a
separate policy and enables the LLM to perform English-German and
English-Russian SiMT tasks with BLEU scores that are comparable to those of
specific state-of-the-art baselines. We also evaluated closed-source models
such as GPT-4, which displayed encouraging results in performing the SiMT task
without prior training (zero-shot), indicating a promising avenue for enhancing
future SiMT systems.
- Abstract(参考訳): デコーダのみの大規模言語モデル(llms)は最近、テキスト生成と推論において印象的な能力を示している。
それでも、現在はエンコーダ・デコーダ変換器が支配している同時機械翻訳(SiMT)には限定的な応用がある。
本研究では、因果的に整列したソースと目的の文ペアからなる小さなデータセットを微調整した後、学習済みのオープンソースLCMが特別な「待機」トークンを生成して入力セグメンテーションを直接制御できることを実証する。
これにより、別個の方針の必要性を排除し、LLMは特定の最先端のベースラインに匹敵するBLEUスコアで英語とドイツ語と英語とロシア語のSiMTタスクを実行できるようになる。
また,GPT-4のようなクローズソースモデルも評価し,事前訓練(ゼロショット)なしでのSiMTタスクの実行を奨励する結果を示し,将来のSiMTシステム向上の道筋を示す。
関連論文リスト
- SiLLM: Large Language Models for Simultaneous Machine Translation [41.303764786790616]
同時機械翻訳(SiMT)は、原文を読みながら翻訳を生成する。
既存のSiMT手法では、ポリシーを同時に決定し、翻訳を生成するために単一のモデルを採用している。
我々は2つのサブタスクを別々のエージェントに委譲するSiLLMを提案する。
論文 参考訳(メタデータ) (2024-02-20T14:23:34Z) - Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。
大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。
英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文 参考訳(メタデータ) (2023-12-21T05:32:49Z) - Simul-LLM: A Framework for Exploring High-Quality Simultaneous
Translation with Large Language Models [5.228973028299169]
数十億のパラメータを持ち、大量のデータに事前訓練された大規模言語モデル(LLM)は、さまざまな下流自然言語処理タスクにおいて、最先端の性能に近いかそれ以上の性能を持つようになった。
Simul-LLMは、SimulMTにフォーカスしたLLMのためのオープンソースのファインチューニングおよび評価パイプライン開発フレームワークである。
論文 参考訳(メタデータ) (2023-12-07T20:42:05Z) - Improving Machine Translation with Large Language Models: A Preliminary
Study with Cooperative Decoding [78.66926087162672]
まず,MT 指向 LLM と MT 指向 LLM の長所と短所を総合的に解析し,その長所と短所について検討する。
これらの知見に基づいて,NMT システムを事前翻訳モデルとして,MT 指向 LLM を補足解として扱う Cooperative Decoding (CoDec) を提案する。
WMT22テストセットと新たに収集されたテストセットWebCrawlの結果は、CoDecの有効性と効率を実証している。
論文 参考訳(メタデータ) (2023-11-06T03:41:57Z) - SCALE: Synergized Collaboration of Asymmetric Language Translation
Engines [105.8983433641208]
本稿では,コンパクトな特殊翻訳モデル (STM) と汎用大言語モデル (LLM) を1つの統合翻訳エンジンとして結合する協調フレームワークを提案する。
STMからの翻訳を3重項インコンテキストのデモに導入することで、SCALEはLLMの洗練とピボット能力を解放する。
実験の結果,SCALEは低リソース環境において,少数ショットLLM (GPT-4) と特殊モデル (NLLB) の両方を著しく上回っていることがわかった。
論文 参考訳(メタデータ) (2023-09-29T08:46:38Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Dictionary-based Phrase-level Prompting of Large Language Models for
Machine Translation [91.57514888410205]
大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。
LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。
LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
論文 参考訳(メタデータ) (2023-02-15T18:46:42Z) - Language Models are Good Translators [63.528370845657896]
単一言語モデル(LM4MT)は,強力なエンコーダデコーダNMTモデルと同等の性能が得られることを示す。
ピボットベースおよびゼロショット変換タスクの実験により、LM4MTはエンコーダ・デコーダのNMTモデルよりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2021-06-25T13:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。