論文の概要: Testing AI on language comprehension tasks reveals insensitivity to underlying meaning

• arxiv url: http://arxiv.org/abs/2302.12313v4
• Date: Tue, 9 Jul 2024 06:25:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 11:32:40.497254
• Title: Testing AI on language comprehension tasks reveals insensitivity to underlying meaning
• Title（参考訳）: 言語理解タスクにおけるAIのテストは、基礎となる意味に過敏なことを明らかにする
• Authors: Vittoria Dentella, Fritz Guenther, Elliot Murphy, Gary Marcus, Evelina Leivada,
• Abstract要約: LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。 しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。 新たなベンチマークで7つの最先端モデルを体系的に評価する。
• 参考スコア（独自算出の注目度）: 3.335047764053173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are recruited in applications that span from clinical assistance and legal support to question answering and education. Their success in specialized tasks has led to the claim that they possess human-like linguistic capabilities related to compositional understanding and reasoning. Yet, reverse-engineering is bound by Moravec's Paradox, according to which easy skills are hard. We systematically assess 7 state-of-the-art models on a novel benchmark. Models answered a series of comprehension questions, each prompted multiple times in two settings, permitting one-word or open-length replies. Each question targets a short text featuring high-frequency linguistic constructions. To establish a baseline for achieving human-like performance, we tested 400 humans on the same prompts. Based on a dataset of n=26,680 datapoints, we discovered that LLMs perform at chance accuracy and waver considerably in their answers. Quantitatively, the tested models are outperformed by humans, and qualitatively their answers showcase distinctly non-human errors in language understanding. We interpret this evidence as suggesting that, despite their usefulness in various tasks, current AI models fall short of understanding language in a way that matches humans, and we argue that this may be due to their lack of a compositional operator for regulating grammatical and semantic information.
• Abstract（参考訳）: LLM(Large Language Models)は、臨床支援や法的支援から、質問応答や教育まで幅広い分野で採用されている。 特殊課題における彼らの成功は、それらが構成的理解と推論に関連する人間のような言語能力を持っているという主張につながった。 しかし、リバースエンジニアリングはモラベックのパラドックスによって拘束されており、簡単なスキルは難しい。 新たなベンチマークで7つの最先端モデルを体系的に評価する。 モデルは一連の理解的な質問に答え、それぞれが2つの設定で複数回トリガーし、ワンワードまたはオープン長の応答を許可した。 各質問は、高周波言語構造を特徴とする短いテキストをターゲットにしている。 人間的なパフォーマンスを達成するためのベースラインを確立するために、同じプロンプトで400人の人間をテストした。 n=26,680個のデータポイントのデータセットに基づいて、LLMが偶然の精度で動作し、ウェーブラーが解答に大きく貢献することを発見した。 定量的には、試験されたモデルは人間よりも優れており、その答えは言語理解において明らかに非人間的な誤りを示す。 我々は、この証拠を、様々なタスクにおいて有用であるにもかかわらず、現在のAIモデルは、人間と一致する方法で言語を理解できないことを示唆していると解釈する。

関連論文リスト

• Do great minds think alike? Investigating Human-AI Complementarity in Question Answering with CAIMIRA [43.116608441891096]
  人間は知識に基づく帰納的、概念的推論においてAIシステムより優れています。 GPT-4やLLaMAのような最先端のLLMは、ターゲット情報検索において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-09T03:53:26Z)
• Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
  Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。 分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。 我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
  論文  参考訳（メタデータ） (2024-07-02T14:02:53Z)
• Large Language Models Lack Understanding of Character Composition of Words [3.9901365062418317]
  大規模言語モデル(LLM)は、幅広い自然言語処理において顕著な性能を示した。 これらの課題の多くは、人間が完璧に扱える簡単なタスクでさえ、確実に実行できないことが示されています。
  論文  参考訳（メタデータ） (2024-05-18T18:08:58Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• A Sentence is Worth a Thousand Pictures: Can Large Language Models Understand Hum4n L4ngu4ge and the W0rld behind W0rds? [2.7342737448775534]
  LLM(Large Language Models)は、人間の言語的パフォーマンスに関する主張と関連付けられている。 対象認知システムの理論的に有意な表現としてLLMの寄与を分析する。 我々は,より高い処理レベルからのトップダウンフィードバックを通じて,モデルが全体像を見る能力を評価する。
  論文  参考訳（メタデータ） (2023-07-26T18:58:53Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering [124.16250115608604]
  本稿では,SQA(Science Question Answering)について紹介する。SQA(Science Question Answering)は,21万のマルチモーダルな複数選択質問と多様な科学トピックと,それに対応する講義や説明による回答の注釈からなる新しいベンチマークである。 また,SQAでは,数ショットのGPT-3では1.20%,微調整のUnifiedQAでは3.99%の改善が見られた。 我々の分析は、人間に似た言語モデルは、より少ないデータから学習し、わずか40%のデータで同じパフォーマンスを達成するのに、説明の恩恵を受けることを示している。
  論文  参考訳（メタデータ） (2022-09-20T07:04:24Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。