Fugu-MT 論文翻訳(概要): The Two Word Test: A Semantic Benchmark for Large Language Models

論文の概要: The Two Word Test: A Semantic Benchmark for Large Language Models

arxiv url: http://arxiv.org/abs/2306.04610v1
Date: Wed, 7 Jun 2023 17:22:03 GMT
ステータス: 処理完了
システム内更新日: 2023-06-08 13:14:33.416877
Title: The Two Word Test: A Semantic Benchmark for Large Language Models
Title（参考訳）: 2つの単語テスト:大規模言語モデルのセマンティックベンチマーク
Authors: Nicholas Riccardi and Rutvik H. Desai
Abstract要約: 大規模言語モデル(LLM)は最近、高度な専門試験に合格するなど、顕著な能力を示している。この業績は、言語に対する人間的な理解や「真の」理解の達成に近づいていることを多くの人に示唆している。本稿では,2単語のフレーズを用いてLLMのセマンティック能力を評価するオープンソースベンチマークを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have shown remarkable abilities recently, including passing advanced professional exams and demanding benchmark tests. This performance has led many to suggest that they are close to achieving humanlike or 'true' understanding of language, and even Artificial General Intelligence (AGI). Here, we provide a new open-source benchmark that can assess semantic abilities of LLMs using two-word phrases using a task that can be performed relatively easily by humans without advanced training. Combining multiple words into a single concept is a fundamental aspect of human language and intelligence. The test requires meaningfulness judgments of 1768 noun-noun combinations that have been rated as meaningful (e.g., baby boy) or not meaningful (e.g., goat sky). by 150 human raters. We provide versions of the task that probe meaningfulness ratings on a 0-4 scale as well as binary judgments. We conducted a series of experiments using the TWT on GPT-4, GPT-3.5, and Bard, with both versions. Results demonstrated that, compared to humans, all models perform poorly at rating meaningfulness of these phrases. GPT-3.5 and Bard are also unable to make binary discriminations between sensible and nonsense phrases as making sense. GPT-4 makes a substantial improvement in binary discrimination of combinatorial phrases but is still significantly worse than human performance. The TWT can be used to understand the limitations and weaknesses of current LLMs, and potentially improve them. The test also reminds us that caution is warranted in attributing 'true understanding' or AGI to LLMs. TWT is available at: https://github.com/NickRiccardi/two-word-test
Abstract（参考訳）: 大規模言語モデル(LLM)は最近、高度な専門的試験の合格やベンチマークテストの要求など、顕著な能力を示している。この業績は、言語に対する人間的な理解や「真の」理解、さらには人工知能(AGI)にも近いことを示唆している。そこで本研究では,高度な訓練を伴わずに人間が比較的容易に実行できるタスクを用いて,2語句を用いてLLMの意味能力を評価可能な,新たなオープンソースベンチマークを提案する。複数の単語を1つの概念に組み合わせることは、人間の言語と知性の基本的な側面である。この試験では、1768年の名詞と名詞の組み合わせを意味のある(例えば、赤ん坊)か意味のない(ヤギの空など)と評価した意味判断を必要とする。 150人のレイパーが我々は,0-4尺度の有意性評価と2値判定を行うタスクのバージョンを提供する。 GPT-4, GPT-3.5, BardのTWTを用いた実験を行った。その結果、人間と比較して、全てのモデルはこれらのフレーズの格付けの意義が低いことが判明した。 GPT-3.5とBardは、意味のあるフレーズとナンセンスなフレーズを区別することができない。 GPT-4は組合せ句の二項識別を著しく改善するが、それでもヒトのパフォーマンスよりも著しく劣っている。 TWTは、現在のLLMの限界と弱点を理解し、それらを改善することができる。また、このテストでは「真の理解」や「AGI to LLMs」の帰結に注意が必要であることも指摘されています。 twtは以下で利用可能である。 https://github.com/nickriccardi/two-word-test

関連論文リスト

One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [55.35278531907263]
本稿では,大言語モデルの公平性と頑健性に関する最初の研究を標準的推論タスクにおける方言に提示する。我々は、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えるために、AAVEスピーカーを採用。標準英語と比較して、これらの広く使われているモデルのほとんどは、AAVEのクエリに対して重大な脆さと不公平さを示している。
論文参考訳（メタデータ） (2024-10-14T18:44:23Z)
Language in Vivo vs. in Silico: Size Matters but Larger Language Models Still Do Not Comprehend Language on a Par with Humans [1.8434042562191815]
本研究では,人間とモデルの違いがモデルサイズに寄与するかどうかを判断する上で,モデルスケーリングが果たす役割について検討する。アナフォラ, 中心埋め込み, 比較, 負極性を含む文法判断タスクにおいて, 3つの大言語モデル(LLM)を検証した。結果,ChatGPT-4の精度は,ChatGPT-4の精度が76%に対して80%であったのに対し,ChatGPT-4の精度は1つのタスク条件,すなわち文法文でのみ優れていた。
論文参考訳（メタデータ） (2024-04-23T10:09:46Z)
From Form(s) to Meaning: Probing the Semantic Depths of Language Models Using Multisense Consistency [13.154753046052527]
言語間の一貫性とパラフレーズに重点を置いています。モデルのマルチセンス一貫性が欠如していることに気付き、検証のためにいくつかのフォローアップ分析を実行する。この観点では、LLMの理解は、一貫性と人間的類似性にはまだ程遠い、と結論付けています。
論文参考訳（メタデータ） (2024-04-18T12:48:17Z)
Instruction-Following Evaluation for Large Language Models [52.90926820437014]
大規模言語モデルに対するインストラクション・フォロー・エスバル(IFEval)を提案する。 IFEvalは、単純で簡単に再現できる評価ベンチマークである。市場における2つのLLMの評価結果を示す。
論文参考訳（メタデータ） (2023-11-14T05:13:55Z)
BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文参考訳（メタデータ） (2023-10-25T23:32:12Z)
Do LLMs Understand Social Knowledge? Evaluating the Sociability of Large Language Models with SocKET Benchmark [14.922083834969323]
大規模言語モデル(LLM)は、様々な構文、談話、推論タスクでうまく機能することが示されている。我々は、社会知識をテストする58のNLPタスクを含む理論駆動型ベンチマーク「SocKET」を導入する。
論文参考訳（メタデータ） (2023-05-24T09:21:06Z)
What's the Meaning of Superhuman Performance in Today's NLU? [145.75798804940766]
我々は,SuperGLUE や SQuAD などのベンチマークが人間と PLM の比較に重大な制限を課していることを示す。より公平で透過的なベンチマークのためのレコメンデーションを提供します。
論文参考訳（メタデータ） (2023-05-15T07:48:31Z)
Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
論文参考訳（メタデータ） (2023-04-26T19:55:52Z)
Testing AI on language comprehension tasks reveals insensitivity to underlying meaning [3.335047764053173]
LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。新たなベンチマークで7つの最先端モデルを体系的に評価する。
論文参考訳（メタデータ） (2023-02-23T20:18:52Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。