論文の概要: Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into
the Morphological Capabilities of a Large Language Model
- arxiv url: http://arxiv.org/abs/2310.15113v1
- Date: Mon, 23 Oct 2023 17:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:25:33.530270
- Title: Counting the Bugs in ChatGPT's Wugs: A Multilingual Investigation into
the Morphological Capabilities of a Large Language Model
- Title（参考訳）: ChatGPTのバグにおけるバグの数え方:大規模言語モデルの形態的能力に関する多言語調査
- Authors: Leonie Weissweiler, Valentin Hofmann, Anjali Kantharuban, Anna Cai,
Ritam Dutt, Amey Hengle, Anubha Kabra, Atharva Kulkarni, Abhishek
Vijayakumar, Haofei Yu, Hinrich Sch\"utze, Kemal Oflazer, David R. Mortensen
- Abstract要約: 大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。
そこで本研究では,4言語でChatGPTの形態的能力の厳密な分析を行う。
ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
- 参考スコア（独自算出の注目度）: 23.60677380868016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have recently reached an impressive level of
linguistic capability, prompting comparisons with human language skills.
However, there have been relatively few systematic inquiries into the
linguistic capabilities of the latest generation of LLMs, and those studies
that do exist (i) ignore the remarkable ability of humans to generalize, (ii)
focus only on English, and (iii) investigate syntax or semantics and overlook
other capabilities that lie at the heart of human language, like morphology.
Here, we close these gaps by conducting the first rigorous analysis of the
morphological capabilities of ChatGPT in four typologically varied languages
(specifically, English, German, Tamil, and Turkish). We apply a version of
Berko's (1958) wug test to ChatGPT, using novel, uncontaminated datasets for
the four examined languages. We find that ChatGPT massively underperforms
purpose-built systems, particularly in English. Overall, our results -- through
the lens of morphology -- cast a new light on the linguistic capabilities of
ChatGPT, suggesting that claims of human-like language skills are premature and
misleading.
- Abstract（参考訳）: 大規模言語モデル (LLM) は近年,人間の言語スキルと比較する上で,目覚ましい言語能力に達している。
しかし、最新のllmの言語能力に関する体系的な調査は、比較的少なく、これらの研究が存在する。
(i)人類の卓越した一般化能力を無視して。
(ii)英語のみに焦点を当て、
(iii)構文や意味論を調査し、形態素など人間の言語の中心にある他の能力を見落としている。
ここでは,4言語(特に英語,ドイツ語,タミル語,トルコ語)におけるChatGPTの形態的能力の厳密な分析を行い,これらのギャップを埋める。
本稿では,ChatGPTにBerko's wug test(1958)を応用し,この4言語を対象とした新しい非汚染データセットを提案する。
ChatGPTは、特に英語の目的構築システムでは大幅に性能が低下している。
全体として、私たちの成果は、形態学のレンズを通して、ChatGPTの言語能力に新たな光を当て、人間に似た言語スキルの主張が早々で誤解を招くことを示唆している。
関連論文リスト
- Investigating Language-Specific Calibration For Pruning Multilingual Large Language Models [11.421452042888523]
多様な言語,タスク,モデル,および SotA プルーニング技術を用いて,多言語モデルをプルーニングするためのキャリブレーション言語を比較した。
例えば、ターゲット言語を校正することで、効率的に言語モデリング能力を維持することができるが、必ずしも下流タスクに利益をもたらすとは限らない。
論文 参考訳（メタデータ） (2024-08-26T16:29:13Z) - A Linguistic Comparison between Human and ChatGPT-Generated Conversations [9.022590646680095]
この研究は、ChatGPTが生成した会話と人間の会話を比較して、言語問合せと単語数分析を取り入れている。
結果は,人間の対話における多様性と信頼度は高いが,ChatGPTは社会的プロセス,分析的スタイル,認知,注意的焦点,ポジティブな感情的トーンといったカテゴリーに優れていた。
論文 参考訳（メタデータ） (2024-01-29T21:43:27Z) - Fumbling in Babel: An Investigation into ChatGPT's Language Identification Ability [15.274404016420737]
我々はChatGPT(GPT-3.5とGPT-4の両方)の言語名と言語コードを識別する能力について検討した。
小型のLIDツールと比較すると、ChatGPTが遅れていることが分かります。
現在の大規模言語モデルは、多様なコミュニティに十分なサービスを提供する前に、さらなる開発から恩恵を受けるだろうと結論付けている。
論文 参考訳（メタデータ） (2023-11-16T09:12:20Z) - GPTAraEval: A Comprehensive Evaluation of ChatGPT on Arabic NLP [21.6253870440136]
本研究は,44の言語理解・生成タスクを含むChatGPTの大規模自動・人為的評価を行う。
以上の結果から,ChatGPTは英語における顕著な性能にもかかわらず,アラビア語を微調整した小型モデルでは一貫して上回っていることが示唆された。
論文 参考訳（メタデータ） (2023-05-24T10:12:39Z) - ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large
Language Models in Multilingual Learning [70.57126720079971]
大規模言語モデル(LLM)は、自然言語処理(NLP)において最も重要なブレークスルーとして登場した。
本稿では,高,中,低,低リソースの37言語を対象として,ChatGPTを7つのタスクで評価する。
従来のモデルと比較すると,様々なNLPタスクや言語に対するChatGPTの性能は低下していた。
論文 参考訳（メタデータ） (2023-04-12T05:08:52Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。
CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。
言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
論文 参考訳（メタデータ） (2022-11-04T12:56:12Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Linguistic Typology Features from Text: Inferring the Sparse Features of
World Atlas of Language Structures [73.06435180872293]
我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。
様々な言語型の特徴を確実に予測できることを示す。
論文 参考訳（メタデータ） (2020-04-30T21:00:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。