論文の概要: ParroT: Translating during Chat using Large Language Models tuned with
Human Translation and Feedback
- arxiv url: http://arxiv.org/abs/2304.02426v5
- Date: Thu, 2 Nov 2023 07:44:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 17:56:19.932445
- Title: ParroT: Translating during Chat using Large Language Models tuned with
Human Translation and Feedback
- Title(参考訳): parrot: 人間の翻訳とフィードバックをチューニングした大規模言語モデルによるチャット中の翻訳
- Authors: Wenxiang Jiao, Jen-tse Huang, Wenxuan Wang, Zhiwei He, Tian Liang,
Xing Wang, Shuming Shi, Zhaopeng Tu
- Abstract要約: ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。
具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。
本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
- 参考スコア(独自算出の注目度): 90.20262941911027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) like ChatGPT have exhibited remarkable abilities
on a wide range of natural language processing~(NLP) tasks, including various
machine translation abilities accomplished during chat. However, these models
are only accessible through restricted APIs, which creates barriers to new
research and advancements in the field. Therefore, we propose ParroT, a
framework to enhance and regulate the translation abilities during chat based
on open-source LLMs (e.g., LLaMA), human-written translation and feedback data.
Specifically, ParroT reformulates translation data into the
instruction-following style, and introduces a "$\mathbf{Hint}$" field for
incorporating extra requirements to regulate the translation process.
Accordingly, we propose three instruction types for finetuning ParroT models,
including translation instruction, contrastive instruction, and error-guided
instruction. Experiments on Flores subsets and WMT22 test sets suggest that
translation instruction improves the translation performance of vanilla LLMs
significantly while error-guided instruction can lead to further improvement,
which demonstrates the importance of learning from low-quality translations
annotated by humans. We also demonstrate the potential of automatic evaluation
tools in providing quality information of translations, when constructing
error-guided instructions for directions that lack human annotation data.
Please refer to our Github project for more implementation details:
https://github.com/wxjiao/ParroT
- Abstract(参考訳): ChatGPTのような大規模言語モデル(LLM)は、チャット中に達成された様々な機械翻訳機能を含む、幅広い自然言語処理〜(NLP)タスクに顕著な能力を発揮している。
しかし、これらのモデルは制限されたapiを通してのみアクセス可能であり、この分野の新しい研究と進歩の障壁となる。
そこで我々はParroTを提案する。ParroTは、オープンソースのLLM(LLaMA)、人文翻訳、フィードバックデータに基づくチャット中の翻訳能力の強化と制御を行うフレームワークである。
具体的には、ParroTは、翻訳データを命令フォロースタイルに再構成し、翻訳プロセスを制御するために追加の要件を組み込む"$\mathbf{Hint}$"フィールドを導入する。
そこで本研究では,翻訳命令,コントラスト命令,エラーガイド命令など,parrotモデルの微調整を行う3つの命令型を提案する。
floresサブセットとwmt22テストセットの実験は、翻訳命令がバニラllmの翻訳性能を大幅に向上させる一方で、エラー誘導命令はさらなる改善につながる可能性を示唆している。
また,人間の注記データに欠ける方向に対して誤り案内命令を構築する際に,翻訳の質情報を提供するための自動評価ツールの可能性を示す。
実装の詳細については、Githubプロジェクトを参照してください。
関連論文リスト
- Contextual Refinement of Translations: Large Language Models for
Sentence and Document-Level Post-Editing [14.030354616779327]
大規模言語モデル(LLM)は様々な自然言語処理タスクでかなりの成功を収めている。
彼らはまだ、ニューラルネットワーク翻訳における最先端のパフォーマンスを達成できていない。
ニューラルネットワーク翻訳におけるLLMの応用について検討し,近年のパラメータ効率向上技術について検討する。
論文 参考訳(メタデータ) (2023-10-23T12:22:15Z) - TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。
我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。
本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
論文 参考訳(メタデータ) (2023-07-10T08:15:40Z) - Iterative Translation Refinement with Large Language Models [18.496393796992212]
本稿では,大規模言語モデルを反復的プロセスに組み込むことで,単なる翻訳以上の出力品質を向上させることを示す。
GPT-3.5によるテストシナリオでは、反復は文字列ベースのメートル法スコアを減少させるが、ニューラルネットワークメトリクスは翻訳品質を向上しないかどうかを示す。
論文 参考訳(メタデータ) (2023-06-06T16:51:03Z) - Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions [68.01449013641532]
大規模事前学習言語モデル(LLM)は多言語翻訳において強力な能力を示している。
本稿では,多言語事前学習言語モデルであるXGLM-7Bを微調整して,多言語翻訳を行う方法を提案する。
論文 参考訳(メタデータ) (2023-05-24T12:00:24Z) - InstructAlign: High-and-Low Resource Language Alignment via Continual
Crosslingual Instruction Tuning [66.31509106146605]
命令を調整した大規模言語モデル(LLM)は、様々なタスクや言語で顕著な能力を示している。
しかし、利用可能なデータが不足しているため、表現不足の言語に一般化する能力は限られている。
InstructAlignは、LLMが新しい未知の言語を学習済みの高リソース言語と整列できるようにするために、連続的なクロスリンガル命令チューニングを使用する。
論文 参考訳(メタデータ) (2023-05-23T02:51:34Z) - Document-Level Machine Translation with Large Language Models [91.03359121149595]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに対して、一貫性、凝集性、関連性、流動性のある回答を生成することができる。
本稿では,LLMの談話モデルにおける能力について詳細に評価する。
論文 参考訳(メタデータ) (2023-04-05T03:49:06Z) - Adaptive Machine Translation with Large Language Models [7.803471587734353]
実時間適応型機械翻訳を改善するために,テキスト内学習をいかに活用できるかを検討する。
英語-アラビア語(EN-AR)、英語-中国語(EN-ZH)、英語-フランス語(EN-FR)、英語-キニャルワンダ(EN-RW)、英語-スペイン語(EN-ES)の5つの多種多様な言語対の実験を行った。
論文 参考訳(メタデータ) (2023-01-30T21:17:15Z) - ChrEnTranslate: Cherokee-English Machine Translation Demo with Quality
Estimation and Corrective Feedback [70.5469946314539]
ChrEnTranslateは、英語と絶滅危惧言語チェロキーとの翻訳のためのオンライン機械翻訳デモシステムである。
統計モデルとニューラルネットワークモデルの両方をサポートし、信頼性をユーザに通知するための品質評価を提供する。
論文 参考訳(メタデータ) (2021-07-30T17:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。