論文の概要: Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition

• arxiv url: http://arxiv.org/abs/2406.14894v2
• Date: Thu, 07 Nov 2024 18:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:37:06.225520
• Title: Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition
• Title（参考訳）: 会話はウォーキングを必要としない:語彙的包摂認識における大規模言語モデルの限界について
• Authors: Candida M. Greco, Lucio La Cava, Andrea Tagarelli,
• Abstract要約: 本研究では,8つの大言語モデルが動詞間の語彙的含意関係を認識する能力について検討する。 以上の結果から,モデルが適度に良好な性能で語彙的包含認識タスクに対処できることが判明した。
• 参考スコア（独自算出の注目度）: 3.8623569699070357
• License:
• Abstract: Verbs form the backbone of language, providing the structure and meaning to sentences. Yet, their intricate semantic nuances pose a longstanding challenge. Understanding verb relations through the concept of lexical entailment is crucial for comprehending sentence meanings and grasping verb dynamics. This work investigates the capabilities of eight Large Language Models in recognizing lexical entailment relations among verbs through differently devised prompting strategies and zero-/few-shot settings over verb pairs from two lexical databases, namely WordNet and HyperLex. Our findings unveil that the models can tackle the lexical entailment recognition task with moderately good performance, although at varying degree of effectiveness and under different conditions. Also, utilizing few-shot prompting can enhance the models' performance. However, perfectly solving the task arises as an unmet challenge for all examined LLMs, which raises an emergence for further research developments on this topic.
• Abstract（参考訳）: 動詞は言語のバックボーンを形成し、文の構造と意味を提供する。 しかし、それらの複雑な意味的ニュアンスには、長年にわたる課題がある。 語彙的含意の概念による動詞関係の理解は、文の意味を理解し、動詞のダイナミクスを把握するために不可欠である。 本研究では,2つの語彙データベース,WordNet と HyperLex の動詞対に対して,異なる方法で考案されたプロンプト戦略とゼロ/フェーショット設定によって,動詞間の語彙関係を認識する8つの大規模言語モデルの能力について検討する。 本研究の結果から, 各モデルでは, 適度な性能で, 有効性や条件の相違はあるものの, 語彙内包認識タスクに適応できることが判明した。 また、数発のプロンプトを利用することで、モデルの性能を向上させることができる。 しかし、この課題を完璧に解決することは、全ての研究 LLM にとって未解決の課題として生じ、この話題に関するさらなる研究の進展を招きかねない。

関連論文リスト

• Large Language Models Lack Understanding of Character Composition of Words [3.9901365062418317]
  大規模言語モデル(LLM)は、幅広い自然言語処理において顕著な性能を示した。 これらの課題の多くは、人間が完璧に扱える簡単なタスクでさえ、確実に実行できないことが示されています。
  論文  参考訳（メタデータ） (2024-05-18T18:08:58Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Transfer Learning of Lexical Semantic Families for Argumentative Discourse Units Identification [0.8508198765617198]
  引数マイニングのタスクは、低から高の複雑さの言語現象と常識知識のインフォームドレンジを必要とする。 これまでの研究では、事前学習された言語モデルは、構文的および意味論的言語現象を符号化するのに非常に効果的であることが示されている。 既存のトレーニング済み言語モデルが、引数マイニングタスクの複雑さをどの程度含んでいるかは、依然として問題である。
  論文  参考訳（メタデータ） (2022-09-06T13:38:47Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Lexically-constrained Text Generation through Commonsense Knowledge Extraction and Injection [62.071938098215085]
  我々は、ある入力概念のセットに対して妥当な文を生成することを目的としているcommongenベンチマークに焦点を当てる。 生成したテキストの意味的正しさを高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2020-12-19T23:23:40Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• SLK-NER: Exploiting Second-order Lexicon Knowledge for Chinese NER [8.122270502556374]
  文中の各文字の2次語彙知識(SLK)に関する新たな知見を提示し,より語彙的な単語情報を提供する。 提案モデルは,グローバルコンテキストの助けを借りて,より識別可能な語彙情報を利用することができる。
  論文  参考訳（メタデータ） (2020-07-16T15:53:02Z)
• On the Importance of Word Order Information in Cross-lingual Sequence Labeling [80.65425412067464]
  ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。 本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2020-01-30T03:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。