論文の概要: Human-in-the-loop Machine Translation with Large Language Model

• arxiv url: http://arxiv.org/abs/2310.08908v1
• Date: Fri, 13 Oct 2023 07:30:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 14:03:09.587967
• Title: Human-in-the-loop Machine Translation with Large Language Model
• Title（参考訳）: 大規模言語モデルを用いたループ内機械翻訳
• Authors: Xinyi Yang, Runzhe Zhan, Derek F. Wong, Junchao Wu, Lidia S. Chao
• Abstract要約: 大規模言語モデル (LLM) は、文脈内学習機構と創発的能力によって大きな注目を集めている。 そこで本研究では,LLMを誘導し,リビジョン命令付きで出力をカスタマイズするHuman-in-the-loopパイプラインを提案する。 GPT-3.5-turbo APIを用いて、ドイツ語翻訳のための5つのドメイン固有ベンチマークにおいて、提案したパイプラインを評価する。
• 参考スコア（独自算出の注目度）: 44.86068991765771
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The large language model (LLM) has garnered significant attention due to its in-context learning mechanisms and emergent capabilities. The research community has conducted several pilot studies to apply LLMs to machine translation tasks and evaluate their performance from diverse perspectives. However, previous research has primarily focused on the LLM itself and has not explored human intervention in the inference process of LLM. The characteristics of LLM, such as in-context learning and prompt engineering, closely mirror human cognitive abilities in language tasks, offering an intuitive solution for human-in-the-loop generation. In this study, we propose a human-in-the-loop pipeline that guides LLMs to produce customized outputs with revision instructions. The pipeline initiates by prompting the LLM to produce a draft translation, followed by the utilization of automatic retrieval or human feedback as supervision signals to enhance the LLM's translation through in-context learning. The human-machine interactions generated in this pipeline are also stored in an external database to expand the in-context retrieval database, enabling us to leverage human supervision in an offline setting. We evaluate the proposed pipeline using GPT-3.5-turbo API on five domain-specific benchmarks for German-English translation. The results demonstrate the effectiveness of the pipeline in tailoring in-domain translations and improving translation performance compared to direct translation. Additionally, we discuss the results from the following perspectives: 1) the effectiveness of different in-context retrieval methods; 2) the construction of a retrieval database under low-resource scenarios; 3) the observed domains differences; 4) the quantitative analysis of linguistic statistics; and 5) the qualitative analysis of translation cases. The code and data are available at https://github.com/NLP2CT/HIL-MT/.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、文脈内学習機構と創発的能力によって大きな注目を集めている。 研究コミュニティは、機械翻訳タスクにllmを適用し、様々な観点からその性能を評価するための試験的な研究を行った。 しかし、従来の研究は主にLLM自体に焦点を当てており、LLMの推論プロセスにおける人間の介入を探求していない。 インコンテキスト学習やプロンプトエンジニアリングなどのLLMの特徴は、言語タスクにおける人間の認知能力を密接に反映し、ループ内生成のための直感的なソリューションを提供する。 そこで本研究では,LLMを誘導し,リビジョン命令で出力をカスタマイズするHuman-in-the-loopパイプラインを提案する。 パイプラインは、llmに草案の翻訳を促し、続いて自動検索や人間のフィードバックを監督信号として利用することで、文脈内学習によるllmの翻訳を強化する。 このパイプラインで生成された人間と機械の相互作用も外部データベースに格納され、コンテキスト内検索データベースを拡張することにより、オフライン環境での人間の監督を活用できる。 提案するパイプラインをgpt-3.5-turbo apiを用いてドイツ語-英語翻訳のための5つのドメイン固有のベンチマークで評価した。 その結果,インドメイン翻訳におけるパイプラインの有効性が示され,直接翻訳に比べて翻訳性能が向上した。 さらに、以下の観点から結果について議論する。 1) 異なる文脈内検索手法の有効性 2) 低リソースシナリオによる検索データベースの構築 3) 観察された領域の違い 4) 言語統計の定量的分析,及び 5) 翻訳事例の質的分析。 コードとデータはhttps://github.com/nlp2ct/hil-mt/で入手できる。

関連論文リスト

• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Shortcomings of LLMs for Low-Resource Translation: Retrieval and Understanding are Both the Problem [4.830018386227]
  本研究では,機械翻訳パイプラインの自動化の一環として,事前学習された大言語モデル(LLM)が低リソース言語から高リソース言語への翻訳を指示する際の文脈内学習能力について検討する。 我々は南ケチュアをスペイン語に翻訳する一連の実験を行い、デジタル化された教育材料と平行コーパスの制約されたデータベースから得られた様々な種類の文脈の情報量について検討する。
  論文  参考訳（メタデータ） (2024-06-21T20:02:22Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• Adapting Large Language Models for Document-Level Machine Translation [46.370862171452444]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 近年の研究では、中程度のLLMはタスク固有の微調整後、より大きなLLMよりも優れていることが示されている。 本研究では,特定の言語対に対する文書レベルの機械翻訳(DocMT)にLLMを適用することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-01-12T09:29:13Z)
• POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource Unsupervised Neural Machine Translation [32.76853731410492]
  低リソース言語(LRL)は、限られた並列データによる教師ありニューラルマシン翻訳の課題に直面している。 本稿では,大言語モデルのLRL翻訳能力を高めるために,確率駆動型メタグラフプロンプタ(POMP)を提案する。 本実験は3つのLRLの翻訳品質を著しく改善した。
  論文  参考訳（メタデータ） (2024-01-11T00:03:36Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。