論文の概要: ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback

• arxiv url: http://arxiv.org/abs/2304.02426v5
• Date: Thu, 2 Nov 2023 07:44:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 17:56:19.932445
• Title: ParroT: Translating during Chat using Large Language Models tuned with Human Translation and Feedback
• Title（参考訳）: parrot: 人間の翻訳とフィードバックをチューニングした大規模言語モデルによるチャット中の翻訳
• Authors: Wenxiang Jiao, Jen-tse Huang, Wenxuan Wang, Zhiwei He, Tian Liang, Xing Wang, Shuming Shi, Zhaopeng Tu
• Abstract要約: ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。 具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。 本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
• 参考スコア（独自算出の注目度）: 90.20262941911027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) like ChatGPT have exhibited remarkable abilities on a wide range of natural language processing~(NLP) tasks, including various machine translation abilities accomplished during chat. However, these models are only accessible through restricted APIs, which creates barriers to new research and advancements in the field. Therefore, we propose ParroT, a framework to enhance and regulate the translation abilities during chat based on open-source LLMs (e.g., LLaMA), human-written translation and feedback data. Specifically, ParroT reformulates translation data into the instruction-following style, and introduces a "$\mathbf{Hint}$" field for incorporating extra requirements to regulate the translation process. Accordingly, we propose three instruction types for finetuning ParroT models, including translation instruction, contrastive instruction, and error-guided instruction. Experiments on Flores subsets and WMT22 test sets suggest that translation instruction improves the translation performance of vanilla LLMs significantly while error-guided instruction can lead to further improvement, which demonstrates the importance of learning from low-quality translations annotated by humans. We also demonstrate the potential of automatic evaluation tools in providing quality information of translations, when constructing error-guided instructions for directions that lack human annotation data. Please refer to our Github project for more implementation details: https://github.com/wxjiao/ParroT
• Abstract（参考訳）: ChatGPTのような大規模言語モデル(LLM)は、チャット中に達成された様々な機械翻訳機能を含む、幅広い自然言語処理〜(NLP)タスクに顕著な能力を発揮している。 しかし、これらのモデルは制限されたapiを通してのみアクセス可能であり、この分野の新しい研究と進歩の障壁となる。 そこで我々はParroTを提案する。ParroTは、オープンソースのLLM(LLaMA)、人文翻訳、フィードバックデータに基づくチャット中の翻訳能力の強化と制御を行うフレームワークである。 具体的には、ParroTは、翻訳データを命令フォロースタイルに再構成し、翻訳プロセスを制御するために追加の要件を組み込む"$\mathbf{Hint}$"フィールドを導入する。 そこで本研究では,翻訳命令,コントラスト命令,エラーガイド命令など,parrotモデルの微調整を行う3つの命令型を提案する。 floresサブセットとwmt22テストセットの実験は、翻訳命令がバニラllmの翻訳性能を大幅に向上させる一方で、エラー誘導命令はさらなる改善につながる可能性を示唆している。 また,人間の注記データに欠ける方向に対して誤り案内命令を構築する際に,翻訳の質情報を提供するための自動評価ツールの可能性を示す。 実装の詳細については、Githubプロジェクトを参照してください。

関連論文リスト

• InstaTrans: An Instruction-Aware Translation Framework for Non-English Instruction Datasets [2.530471185132544]
  末尾現象のため、英語以外の言語に対して高品質な命令データセットを生成することは困難である。 本稿では,既存の高品質な英語指導データセットを解として翻訳することを提案する。 InstaTransという命令データセットに適した新しい翻訳フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-10-02T13:02:23Z)
• TasTe: Teaching Large Language Models to Translate through Self-Reflection [82.83958470745381]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。 本稿では,自己回帰を通した翻訳を行うTasTeフレームワークを提案する。 WMT22ベンチマークにおける4つの言語方向の評価結果から,既存の手法と比較して,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-12T17:21:21Z)
• Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
  オフターゲット翻訳は、特に低リソース言語では未解決の問題である。 最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。 本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-03-21T13:47:40Z)
• Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing [12.843274390224853]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクでかなりの成功を収めている。 ニューラルネットワーク翻訳における最先端性能は,まだ達成できていない。 直接翻訳者ではなく,自動編集者 (APE) としてLLMを適用することを提案する。
  論文  参考訳（メタデータ） (2023-10-23T12:22:15Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
  大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。 本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T12:00:24Z)
• Adaptive Machine Translation with Large Language Models [7.803471587734353]
  実時間適応型機械翻訳を改善するために,テキスト内学習をいかに活用できるかを検討する。 英語-アラビア語(EN-AR)、英語-中国語(EN-ZH)、英語-フランス語(EN-FR)、英語-キニャルワンダ(EN-RW)、英語-スペイン語(EN-ES)の5つの多種多様な言語対の実験を行った。
  論文  参考訳（メタデータ） (2023-01-30T21:17:15Z)
• ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality Estimation and Corrective Feedback [70.5469946314539]
  ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。 統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
  論文  参考訳（メタデータ） (2021-07-30T17:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。