論文の概要: Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs)

• arxiv url: http://arxiv.org/abs/2404.16653v1
• Date: Thu, 25 Apr 2024 14:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 13:20:37.343399
• Title: Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs)
• Title（参考訳）: アンビグアド・ラングイスティカの言語モデル(Análise de ambiguidade linguística em modelos de linguagem de grande escala)
• Authors: Lavínia de Carvalho Moraes, Irene Cristina Silvério, Rafael Alexandre Sousa Marques, Bianca de Castro Anaia, Dandara Freitas de Paula, Maria Carolina Schincariol de Faria, Iury Cleveston, Alana de Santana Correia, Raquel Meister Ko Freitag,
• Abstract要約: 言語的曖昧さは、自然言語処理(NLP)システムにとって重要な課題である。 近年のChatGPTやGeminiのような教育モデルの成功に触発されて,これらのモデルにおける言語的あいまいさを分析し,議論することを目的とした。
• 参考スコア（独自算出の注目度）: 0.35069196259739965
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linguistic ambiguity continues to represent a significant challenge for natural language processing (NLP) systems, notwithstanding the advancements in architectures such as Transformers and BERT. Inspired by the recent success of instructional models like ChatGPT and Gemini (In 2023, the artificial intelligence was called Bard.), this study aims to analyze and discuss linguistic ambiguity within these models, focusing on three types prevalent in Brazilian Portuguese: semantic, syntactic, and lexical ambiguity. We create a corpus comprising 120 sentences, both ambiguous and unambiguous, for classification, explanation, and disambiguation. The models capability to generate ambiguous sentences was also explored by soliciting sets of sentences for each type of ambiguity. The results underwent qualitative analysis, drawing on recognized linguistic references, and quantitative assessment based on the accuracy of the responses obtained. It was evidenced that even the most sophisticated models, such as ChatGPT and Gemini, exhibit errors and deficiencies in their responses, with explanations often providing inconsistent. Furthermore, the accuracy peaked at 49.58 percent, indicating the need for descriptive studies for supervised learning.
• Abstract（参考訳）: 言語的曖昧さは、トランスフォーマーやBERTのようなアーキテクチャの進歩にもかかわらず、自然言語処理(NLP)システムにとって重要な課題であり続けている。 この研究は、ChatGPTやGemini(2023年、人工知能はBard.と呼ばれた)のような最近の指導モデルの成功に触発され、ブラジルポルトガル語で一般的な3つのタイプの意味、構文、語彙のあいまいさに着目して、これらのモデル内の言語的あいまいさを分析し、議論することを目的としている。 我々は、分類、説明、曖昧化のために、曖昧で曖昧な120の文からなるコーパスを作成する。 あいまいな文を生成するためのモデル能力についても,各種類のあいまいさに対して文の集合を勧誘することによって検討した。 その結果、質的な分析、認識された言語基準に基づく描画、得られた応答の精度に基づく定量的評価が得られた。 ChatGPTやGeminiのような最も洗練されたモデルでさえ、その応答に誤りと欠陥を示しており、説明が矛盾することが多いことが証明された。 さらに、精度は49.58パーセントに達し、教師あり学習のための記述的学習の必要性が示唆された。

関連論文リスト

• Scope Ambiguities in Large Language Models [29.427341094882966]
  自己回帰言語モデルの異なるバージョンがスコープ不明瞭な文をどのように扱うかを検討する。 我々は,約1000のユニークなスコープあいまいな文を含む新しいデータセットを提案する。 これらのデータセットを用いて、これらの文における曖昧さの意味にいくつかのモデルが敏感であることを示す。
  論文  参考訳（メタデータ） (2024-04-05T18:01:02Z)
• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
  文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。 本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。 このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
  論文  参考訳（メタデータ） (2021-10-19T15:44:28Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
  トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。 文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
  論文  参考訳（メタデータ） (2020-11-02T13:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。