論文の概要: Fumbling in Babel: An Investigation into ChatGPT's Language Identification Ability

• arxiv url: http://arxiv.org/abs/2311.09696v2
• Date: Mon, 8 Apr 2024 20:57:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:06:52.108492
• Title: Fumbling in Babel: An Investigation into ChatGPT's Language Identification Ability
• Title（参考訳）: Babelにおけるファムブル:ChatGPTの言語識別能力の検討
• Authors: Wei-Rui Chen, Ife Adebara, Khai Duy Doan, Qisheng Liao, Muhammad Abdul-Mageed,
• Abstract要約: 我々はChatGPT(GPT-3.5とGPT-4の両方)の言語名と言語コードを識別する能力について検討した。 小型のLIDツールと比較すると、ChatGPTが遅れていることが分かります。 現在の大規模言語モデルは、多様なコミュニティに十分なサービスを提供する前に、さらなる開発から恩恵を受けるだろうと結論付けている。
• 参考スコア（独自算出の注目度）: 15.274404016420737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ChatGPT has recently emerged as a powerful NLP tool that can carry out a variety of tasks. However, the range of languages ChatGPT can handle remains largely a mystery. To uncover which languages ChatGPT `knows', we investigate its language identification (LID) abilities. For this purpose, we compile Babel-670, a benchmark comprising 670 languages representing 24 language families spoken in five continents. Languages in Babel-670 run the gamut from the very high-resource to the very low-resource. We then study ChatGPT's (both GPT-3.5 and GPT-4) ability to (i) identify language names and language codes (ii) under zero- and few-shot conditions (iii) with and without provision of a label set. When compared to smaller finetuned LID tools, we find that ChatGPT lags behind. For example, it has poor performance on African languages. We conclude that current large language models would benefit from further development before they can sufficiently serve diverse communities.
• Abstract（参考訳）: ChatGPTは最近、さまざまなタスクを実行できる強力なNLPツールとして登場した。 しかし、ChatGPTが扱える言語の範囲はいまだに謎のままである。 いずれの言語がChatGPT `knows'であるかを明らかにするために,言語識別能力(LID)について検討する。 この目的のために,5大陸で話されている24の言語族を表す670の言語からなるベンチマークであるBabel-670をコンパイルする。 Babel-670の言語は、非常に高リソースから非常に低リソースにガムを実行する。 次にChatGPT(GPT-3.5とGPT-4の両方)の能力について研究する。 一 言語名及び言語コードを特定すること。 (ii)ゼロショット条件と少数ショット条件 三 ラベルセットを交付し、かつ、提供しないもの 小型のLIDツールと比較すると、ChatGPTが遅れていることが分かります。 例えば、アフリカの言語ではパフォーマンスが劣っている。 現在の大規模言語モデルは、多様なコミュニティに十分なサービスを提供する前に、さらなる開発から恩恵を受けるだろうと結論付けている。

関連論文リスト

• Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into the Morphological Capabilities of a Large Language Model [23.60677380868016]
  大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。 そこで本研究では,4言語でChatGPTの形態的能力の厳密な分析を行う。 ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
  論文  参考訳（メタデータ） (2023-10-23T17:21:03Z)
• Phoenix: Democratizing ChatGPT across Languages [68.75163236421352]
  我々は大規模な言語モデル「フェニックス」をリリースし、オープンソースの英語モデルと中国語モデルの間で競合する性能を実現した。 この作業は、特にOpenAIやローカルなゴーバーメントの制限により、人々がChatGPTを使えない国では、ChatGPTをよりアクセスしやすいものにする上で有益であると考えています。
  論文  参考訳（メタデータ） (2023-04-20T16:50:04Z)
• ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning [70.57126720079971]
  大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。 本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。 従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
  論文  参考訳（メタデータ） (2023-04-12T05:08:52Z)
• ChatGPT: Beginning of an End of Manual Linguistic Data Annotation? Use Case of Automatic Genre Identification [0.0]
  ChatGPTは自然言語生成タスクにおいて強力な能力を示しており、研究者は自然にその能力がどこで終わるかを探求している。 本稿では,ChatGPTとXLM-RoBERTa言語モデルを比較した。 その結果、ChatGPTは、どちらのモデルでもこれまで見られなかったデータセットに適用した場合、微調整されたモデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-07T14:59:33Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine [97.8609714773255]
  機械翻訳におけるChatGPTの評価には,翻訳プロンプト,多言語翻訳,翻訳堅牢性などが含まれる。 ChatGPTは商用翻訳製品と競合するが、低リソースや遠方の言語では遅れている。 GPT-4エンジンの打ち上げにより、ChatGPTの翻訳性能は大幅に向上した。
  論文  参考訳（メタデータ） (2023-01-20T08:51:36Z)
• BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.24676567971536]
  BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。 既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。 データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
  論文  参考訳（メタデータ） (2022-12-19T15:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。