論文の概要: Evaluating large language models' ability to understand metaphor and sarcasm using a screening test for Asperger syndrome

• arxiv url: http://arxiv.org/abs/2309.10744v2
• Date: Wed, 10 Jan 2024 10:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 17:04:44.437010
• Title: Evaluating large language models' ability to understand metaphor and sarcasm using a screening test for Asperger syndrome
• Title（参考訳）: Asperger症候群スクリーニングテストによる大言語モデルのメタファーと皮肉を理解する能力の評価
• Authors: Hiromu Yakura
• Abstract要約: Asperger症候群の小児は、サルカズムの理解が困難であることが知られている。 メタファーと皮肉を理解する能力を示すスクリーニングテストは、アスペルガー症候群と類似した外的行動を示す他の症状を区別するために使われてきた。 本研究では,人間のニュアンス通信を理解する上で,近年の大規模言語モデルの有効性を検討するために標準化されたテストを利用する。
• 参考スコア（独自算出の注目度）: 31.14964052020294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metaphors and sarcasm are precious fruits of our highly-evolved social communication skills. However, children with Asperger syndrome are known to have difficulties in comprehending sarcasm, even if they possess a certain level of verbal IQ sufficient for understanding metaphors. Given that, a screening test that scores the ability to understand metaphor and sarcasm has been used to differentiate Asperger syndrome from other symptoms exhibiting akin external behaviors (e.g., attention-deficit/hyperactivity disorder). This study uses the standardized test to examine the capability of recent large language models (LLMs) in understanding human nuanced communication. The results divulged that, whereas their ability to comprehend metaphors has been improved with the increase of the number of model parameters, the improvement in sarcasm understanding was not observed. This implies that an alternative approach is imperative to imbue LLMs with the capacity to grasp sarcasm, which has been associated with the amygdala, a pivotal cerebral region for emotional learning, in the case of humans.
• Abstract（参考訳）: メタファーとサルカズムは、高度に進化した社会コミュニケーションスキルの貴重な成果である。 しかし、アスペルガー症候群の子供は、比喩を理解するのに十分なある種の言語IQを持っているとしても、皮肉を理解するのに困難であることが知られている。 それを考えると、メタファーやサルカズムを理解する能力を評価するスクリーニングテストは、アスペルガー症候群と外的行動に類似した他の症状(注意欠陥/多動性障害など)を区別するために用いられてきた。 本研究では,人間のニュアンス通信を理解するための最近の大規模言語モデル(llms)の能力について,標準化テストを用いて検証する。 その結果,メタファの理解能力はモデルパラメータの数の増加とともに向上したのに対し,皮肉理解の改善は見られなかった。 このことは、人間の場合、感情学習のための重要な脳の領域である扁桃体と関連付けられているサルカズムをつかむ能力を持つ、未熟なLSMに代替的なアプローチが必須であることを示している。

関連論文リスト

• A Functional Trade-off between Prosodic and Semantic Cues in Conveying Sarcasm [16.351061648741968]
  発話とキーフレーズの韻律的特徴を3つの異なる皮肉カテゴリーに分けて分析した。 その結果, 意味論的意味が有意なフレーズでは, 意味論的意味が意味論的意味から明らかでない場合よりも, 韻律的手がかりは関連性が低いことがわかった。
  論文  参考訳（メタデータ） (2024-08-27T09:07:37Z)
• An Evaluation of State-of-the-Art Large Language Models for Sarcasm Detection [0.0]
  サルカズム(英: Sarcasm)とは、彼が言いたいことの逆を意味する人による言葉の使用である。 NLPの最近の革新により、サルカズムを検出する可能性がさらに高まった。
  論文  参考訳（メタデータ） (2023-10-07T14:45:43Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models [74.07684768317705]
  LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。 その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。 これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-26T23:46:29Z)
• SAIDS: A Novel Approach for Sentiment Analysis Informed of Dialect and Sarcasm [0.0]
  本稿では,アラビア語ツイートの感情,皮肉,方言を予測する新しいシステム(SAIDS)を紹介する。 すべてのタスクを一緒にトレーニングすることで、SAIDSの結果は75.98 FPN、59.09 F1スコア、71.13 F1スコアで、それぞれ感情分析、肉腫検出、方言識別を行う。
  論文  参考訳（メタデータ） (2023-01-06T14:19:46Z)
• Sarcasm Detection Framework Using Emotion and Sentiment Features [62.997667081978825]
  本研究では,感情と感情の特徴を取り入れたモデルを提案する。 我々のアプローチは、ソーシャルネットワークプラットフォームとオンラインメディアの4つのデータセットに対して、最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-11-23T15:14:44Z)
• Explaining (Sarcastic) Utterances to Enhance Affect Understanding in Multimodal Dialogues [40.80696210030204]
  本稿では,マルチモーダル(皮肉)対話インスタンスを入力とし,その説明として自然言語文を生成する深層ニューラルネットワーク MOSES を提案する。 本研究では, サルカズム検出, ユーモア識別, 感情認識など, 対話型対話システムにおいて, 様々な自然言語理解タスクに対して生成した説明を活用する。 評価結果から,MOSESはSEDの最先端システムよりも平均2%高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-20T18:05:43Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge [51.70688120849654]
  非皮肉な入力文に基づくサルカズム生成のための教師なしアプローチを提案する。 本手法では,サルカズムの2つの主要な特徴をインスタンス化するために,検索・編集の枠組みを用いる。
  論文  参考訳（メタデータ） (2020-04-28T02:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。