論文の概要: Evaluating Large Language Models' Ability Using a Psychiatric Screening Tool Based on Metaphor and Sarcasm Scenarios

• arxiv url: http://arxiv.org/abs/2309.10744v3
• Date: Sat, 20 Jul 2024 12:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 05:36:51.473709
• Title: Evaluating Large Language Models' Ability Using a Psychiatric Screening Tool Based on Metaphor and Sarcasm Scenarios
• Title（参考訳）: メタファーとサルカズムシナリオに基づく精神科スクリーニングツールを用いた大規模言語モデルの能力評価
• Authors: Hiromu Yakura,
• Abstract要約: アスペルガー症候群(Asperger syndrome)と呼ばれるこの症状を持つ子供たちは、皮肉を理解できないことが知られている。 本研究では,近年の大規模言語モデルにおけるニュアンスド・ヒューマン・コミュニケーションの理解を評価するために標準化されたテストを用いた。
• 参考スコア（独自算出の注目度）: 31.14964052020294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metaphors and sarcasm are precious fruits of our highly evolved social communication skills. However, children with the condition then known as Asperger syndrome are known to have difficulties in comprehending sarcasm, even if they possess adequate verbal IQs for understanding metaphors. Accordingly, researchers had employed a screening test that assesses metaphor and sarcasm comprehension to distinguish Asperger syndrome from other conditions with similar external behaviors (e.g., attention-deficit/hyperactivity disorder). This study employs a standardized test to evaluate recent large language models' (LLMs) understanding of nuanced human communication. The results indicate improved metaphor comprehension with increased model parameters; however, no similar improvement was observed for sarcasm comprehension. Considering that a human's ability to grasp sarcasm has been associated with the amygdala, a pivotal cerebral region for emotional learning, a distinctive strategy for training LLMs would be imperative to imbue them with the ability in a cognitively grounded manner.
• Abstract（参考訳）: メタファーとサルカズムは、高度に進化した社会コミュニケーションスキルの貴重な成果である。 しかし、アスペルガー症候群として知られるこの症状を持つ子供たちは、たとえメタファーを理解するのに十分な言葉IQを持っているとしても、皮肉を理解するのに困難であることが知られている。 そのため、研究者はメタファーと皮肉の理解を評価して、同様の外部行動(注意欠陥/高活動障害など)を持つ他の状態とAsperger症候群を区別するスクリーニングテストを実施しました。 本研究では,最近の大規模言語モデル (LLM) におけるニュアンスド・ヒューマン・コミュニケーションの理解を評価するために標準化されたテストを用いた。 その結果, メタファー理解が改善し, モデルパラメータが向上したが, サルカズム理解に類似した改善は見られなかった。 ヒトのサルカズムを把握できる能力が、感情学習のための重要な脳の領域である扁桃体と結びついていることを考えると、LSMを訓練するための独特の戦略は、認知的に根ざした方法でそれらを創り出すのに不可欠である。

関連論文リスト

• Measuring Psychological Depth in Language Models [48.94536312831725]
  本稿では,文学理論に根ざした新たな枠組みである心理的深度尺度(PDS)を紹介する。 PDS(0.72 クリッペンドルフのα)に基づいて人間が一貫して物語を評価できることを示し、我々の枠組みを実証的に検証する。 驚いたことに、GPT-4のストーリーはRedditから入手した高評価の人文記事と統計的に区別できない。
  論文  参考訳（メタデータ） (2024-06-18T14:51:54Z)
• An Evaluation of State-of-the-Art Large Language Models for Sarcasm Detection [0.0]
  サルカズム(英: Sarcasm)とは、彼が言いたいことの逆を意味する人による言葉の使用である。 NLPの最近の革新により、サルカズムを検出する可能性がさらに高まった。
  論文  参考訳（メタデータ） (2023-10-07T14:45:43Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models [74.07684768317705]
  LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。 その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。 これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-26T23:46:29Z)
• SAIDS: A Novel Approach for Sentiment Analysis Informed of Dialect and Sarcasm [0.0]
  本稿では,アラビア語ツイートの感情,皮肉,方言を予測する新しいシステム(SAIDS)を紹介する。 すべてのタスクを一緒にトレーニングすることで、SAIDSの結果は75.98 FPN、59.09 F1スコア、71.13 F1スコアで、それぞれ感情分析、肉腫検出、方言識別を行う。
  論文  参考訳（メタデータ） (2023-01-06T14:19:46Z)
• Sarcasm Detection Framework Using Emotion and Sentiment Features [62.997667081978825]
  本研究では,感情と感情の特徴を取り入れたモデルを提案する。 我々のアプローチは、ソーシャルネットワークプラットフォームとオンラインメディアの4つのデータセットに対して、最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-11-23T15:14:44Z)
• Explaining (Sarcastic) Utterances to Enhance Affect Understanding in Multimodal Dialogues [40.80696210030204]
  本稿では,マルチモーダル(皮肉)対話インスタンスを入力とし,その説明として自然言語文を生成する深層ニューラルネットワーク MOSES を提案する。 本研究では, サルカズム検出, ユーモア識別, 感情認識など, 対話型対話システムにおいて, 様々な自然言語理解タスクに対して生成した説明を活用する。 評価結果から,MOSESはSEDの最先端システムよりも平均2%高い性能を示した。
  論文  参考訳（メタデータ） (2022-11-20T18:05:43Z)
• Parallel Deep Learning-Driven Sarcasm Detection from Pop Culture Text and English Humor Literature [0.76146285961466]
  ベンチマークポップカルチャー Sarcasm corpus のサーカシックな単語分布特徴を手作業で抽出する。 このような単語から重み付きベクトルからなる入力シーケンスを生成する。 提案するサルカズム検出モデルは,提案したデータセットを用いてトレーニングした場合,98.95%のトレーニング精度をピークとする。
  論文  参考訳（メタデータ） (2021-06-10T14:01:07Z)
• $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge [51.70688120849654]
  非皮肉な入力文に基づくサルカズム生成のための教師なしアプローチを提案する。 本手法では,サルカズムの2つの主要な特徴をインスタンス化するために,検索・編集の枠組みを用いる。
  論文  参考訳（メタデータ） (2020-04-28T02:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。