論文の概要: Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine
- arxiv url: http://arxiv.org/abs/2301.08745v4
- Date: Thu, 2 Nov 2023 07:19:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 18:08:27.445672
- Title: Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine
- Title(参考訳): ChatGPTは良い翻訳ツールか?
はい gpt-4をエンジンとして
- Authors: Wenxiang Jiao, Wenxuan Wang, Jen-tse Huang, Xing Wang, Shuming Shi,
Zhaopeng Tu
- Abstract要約: 機械翻訳におけるChatGPTの評価には,翻訳プロンプト,多言語翻訳,翻訳堅牢性などが含まれる。
ChatGPTは商用翻訳製品と競合するが、低リソースや遠方の言語では遅れている。
GPT-4エンジンの打ち上げにより、ChatGPTの翻訳性能は大幅に向上した。
- 参考スコア(独自算出の注目度): 97.8609714773255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This report provides a preliminary evaluation of ChatGPT for machine
translation, including translation prompt, multilingual translation, and
translation robustness. We adopt the prompts advised by ChatGPT to trigger its
translation ability and find that the candidate prompts generally work well
with minor performance differences. By evaluating on a number of benchmark test
sets, we find that ChatGPT performs competitively with commercial translation
products (e.g., Google Translate) on high-resource European languages but lags
behind significantly on low-resource or distant languages. As for the
translation robustness, ChatGPT does not perform as well as the commercial
systems on biomedical abstracts or Reddit comments but exhibits good results on
spoken language. Further, we explore an interesting strategy named
$\mathbf{pivot~prompting}$ for distant languages, which asks ChatGPT to
translate the source sentence into a high-resource pivot language before into
the target language, improving the translation performance noticeably. With the
launch of the GPT-4 engine, the translation performance of ChatGPT is
significantly boosted, becoming comparable to commercial translation products,
even for distant languages. Human analysis on Google Translate and ChatGPT
suggests that ChatGPT with GPT-3.5 tends to generate more hallucinations and
mis-translation errors while that with GPT-4 makes the least errors. In other
words, ChatGPT has already become a good translator. Please refer to our Github
project for more details:
https://github.com/wxjiao/Is-ChatGPT-A-Good-Translator
- Abstract(参考訳): 本報告では,機械翻訳におけるChatGPTの予備評価を行い,翻訳プロンプト,多言語翻訳,翻訳堅牢性について述べる。
われわれはChatGPTが推奨するプロンプトを採用して、その翻訳能力をトリガーし、候補プロンプトがパフォーマンスの小さな違いによく合うことを確認する。
多数のベンチマークテストセットを評価することで、ChatGPTは高リソースのヨーロッパ言語で商用翻訳製品(Google Translateなど)と競合するが、低リソースや遠方の言語では遅れがかなり大きいことが分かる。
翻訳の堅牢性については、chatgptは生物医学的抽象やredditコメントの商用システムほど性能は良くないが、音声言語では良い結果を示している。
さらに、ChatGPTに対して、ターゲット言語に変換する前にソース文を高リソースのピボット言語に変換するように求め、翻訳性能を著しく向上させる、$\mathbf{pivot~prompting}$という興味深い戦略を探求する。
GPT-4エンジンのローンチにより、ChatGPTの翻訳性能は大幅に向上し、遠隔言語でも商用翻訳製品に匹敵するものとなった。
Google TranslateとChatGPTの人間による分析では、GPT-3.5によるChatGPTはより幻覚や誤訳のエラーを引き起こす傾向にあり、GPT-4によるエラーは最小である。
言い換えれば、ChatGPTはすでに優れた翻訳者になっている。
詳細はGithubプロジェクトのhttps://github.com/wxjiao/Is-ChatGPT-A-Good-Translatorを参照してください。
関連論文リスト
- Fumbling in Babel: An Investigation into ChatGPT's Language Identification Ability [15.274404016420737]
我々はChatGPT(GPT-3.5とGPT-4の両方)の言語名と言語コードを識別する能力について検討した。
小型のLIDツールと比較すると、ChatGPTが遅れていることが分かります。
現在の大規模言語モデルは、多様なコミュニティに十分なサービスを提供する前に、さらなる開発から恩恵を受けるだろうと結論付けている。
論文 参考訳(メタデータ) (2023-11-16T09:12:20Z) - Primacy Effect of ChatGPT [69.49920102917598]
本稿では,ChatGPTの優位性について検討する。
実験と分析により、より信頼性の高いChatGPTベースのソリューションを構築する上で、さらなる洞察が得られればと思っています。
論文 参考訳(メタデータ) (2023-10-20T00:37:28Z) - GPTAraEval: A Comprehensive Evaluation of ChatGPT on Arabic NLP [21.6253870440136]
本研究は,44の言語理解・生成タスクを含むChatGPTの大規模自動・人為的評価を行う。
以上の結果から,ChatGPTは英語における顕著な性能にもかかわらず,アラビア語を微調整した小型モデルでは一貫して上回っていることが示唆された。
論文 参考訳(メタデータ) (2023-05-24T10:12:39Z) - Is Information Extraction Solved by ChatGPT? An Analysis of Performance,
Evaluation Criteria, Robustness and Errors [14.911130381374793]
最初にChatGPTのパフォーマンスを、ゼロショット、少数ショット、チェーンオブ思考のシナリオの下で14のIEサブタスクを持つ17のデータセットで評価した。
次に、14のIEサブタスクにおけるChatGPTのロバスト性を分析し、1)ChatGPTが無効な応答をほとんど出力しないこと、2)ChatGPTの性能に関係のないコンテキストと長期ターゲットタイプが大きな影響を与えること、3)ChatGPTはREタスクにおける主観的対象関係をうまく理解できないこと、を見出した。
論文 参考訳(メタデータ) (2023-05-23T18:17:43Z) - Phoenix: Democratizing ChatGPT across Languages [68.75163236421352]
我々は大規模な言語モデル「フェニックス」をリリースし、オープンソースの英語モデルと中国語モデルの間で競合する性能を実現した。
この作業は、特にOpenAIやローカルなゴーバーメントの制限により、人々がChatGPTを使えない国では、ChatGPTをよりアクセスしやすいものにする上で有益であると考えています。
論文 参考訳(メタデータ) (2023-04-20T16:50:04Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳(メタデータ) (2023-04-12T05:08:52Z) - How to Design Translation Prompts for ChatGPT: An Empirical Study [18.678893287863033]
ChatGPTは自然言語理解と自然言語生成において驚くべき能力を示した。
私たちは、広範囲の翻訳にいくつかの翻訳プロンプトを採用しています。
私たちの研究は、ChatGPTが翻訳において大きな可能性を秘めているという実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-04-05T01:17:59Z) - Towards Making the Most of ChatGPT for Machine Translation [75.576405098545]
ChatGPTは機械翻訳(MT)の優れた機能を示す
いくつかの先行研究により、ハイソース言語の商用システムと同等の結果が得られることが示されている。
論文 参考訳(メタデータ) (2023-03-24T03:35:21Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2023-02-19T12:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。