論文の概要: Evaluating large language models' ability to understand metaphor and
sarcasm using a screening test for Asperger syndrome
- arxiv url: http://arxiv.org/abs/2309.10744v1
- Date: Tue, 19 Sep 2023 16:41:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 13:34:49.084376
- Title: Evaluating large language models' ability to understand metaphor and
sarcasm using a screening test for Asperger syndrome
- Title(参考訳): Asperger症候群スクリーニングテストによる大言語モデルのメタファーと皮肉を理解する能力の評価
- Authors: Hiromu Yakura
- Abstract要約: Asperger症候群の小児は、サルカズムの理解が困難であることが知られている。
メタファーと皮肉を理解する能力を示すスクリーニングテストは、アスペルガー症候群と類似した外的行動を示す他の症状を区別するために使われてきた。
本研究では,人間のニュアンス通信を理解する上で,近年の大規模言語モデルの有効性を検討するために標準化されたテストを利用する。
- 参考スコア(独自算出の注目度): 31.14964052020294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metaphors and sarcasm are precious fruits of our highly-evolved social
communication skills. However, children with Asperger syndrome are known to
have difficulties in comprehending sarcasm, even if they possess a certain
level of verbal IQ sufficient for understanding metaphors. Given that, a
screening test that scores the ability to understand metaphor and sarcasm has
been used to differentiate Asperger syndrome from other symptoms exhibiting
akin external behaviors (e.g., attention-deficit/hyperactivity disorder). This
study uses the standardized test to examine the capability of recent large
language models (LLMs) in understanding human nuanced communication. The
results divulged that, whereas their ability to comprehend metaphors has been
improved with the increase of the number of model parameters, the improvement
in sarcasm understanding was not observed. This implies that an alternative
approach is imperative to imbue LLMs with the capacity to grasp sarcasm, which
has been associated with the amygdala, a pivotal cerebral region for emotional
learning, in the case of humans.
- Abstract(参考訳): メタファーとサルカズムは、高度に進化した社会コミュニケーションスキルの貴重な成果である。
しかし、アスペルガー症候群の子供は、比喩を理解するのに十分なある種の言語IQを持っているとしても、皮肉を理解するのに困難であることが知られている。
それを考えると、メタファーやサルカズムを理解する能力を評価するスクリーニングテストは、アスペルガー症候群と外的行動に類似した他の症状(注意欠陥/多動性障害など)を区別するために用いられてきた。
本研究では,人間のニュアンス通信を理解するための最近の大規模言語モデル(llms)の能力について,標準化テストを用いて検証する。
その結果,メタファの理解能力はモデルパラメータの数の増加とともに向上したのに対し,皮肉理解の改善は見られなかった。
このことは、人間の場合、感情学習のための重要な脳の領域である扁桃体と関連付けられているサルカズムをつかむ能力を持つ、未熟なLSMに代替的なアプローチが必須であることを示している。
関連論文リスト
- Impact of emoji exclusion on the performance of Arabic sarcasm detection models [0.0]
本稿では,基本前処理成分が音素音声検出に与える影響について検討する。
我々はAraBERTプリトレーニングを用いて特定のモデルを改良し、絵文字の除去が皮肉検出の精度を大幅に向上させることを示した。
本研究では、アラビア語の自然言語処理における新しいベンチマークを確立し、ソーシャルメディアプラットフォームに価値ある洞察を与える。
論文 参考訳(メタデータ) (2024-05-03T15:51:02Z) - Sentiment-enhanced Graph-based Sarcasm Explanation in Dialogue [67.09698638709065]
本稿では,SEntiment-enhanceD Graph を用いたマルチモーダルサルカズム記述フレームワーク EDGE を提案する。
特に,まずレキシコン誘導型発話感情推論モジュールを提案し,そこでは発話感情改善戦略を考案する。
次に,マルチモーダル感情分析モデル JCA を拡張し,映像音声クリップ毎に共同感情ラベルを導出することにより,JCA-SI (Joint Cross Attention-based Sentiment Inference) というモジュールを開発する。
論文 参考訳(メタデータ) (2024-02-06T03:14:46Z) - DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。
そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
論文 参考訳(メタデータ) (2023-06-15T10:41:23Z) - Navigating the Grey Area: How Expressions of Uncertainty and
Overconfidence Affect Language Models [74.07684768317705]
LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。
その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。
これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
論文 参考訳(メタデータ) (2023-02-26T23:46:29Z) - SAIDS: A Novel Approach for Sentiment Analysis Informed of Dialect and
Sarcasm [0.0]
本稿では,アラビア語ツイートの感情,皮肉,方言を予測する新しいシステム(SAIDS)を紹介する。
すべてのタスクを一緒にトレーニングすることで、SAIDSの結果は75.98 FPN、59.09 F1スコア、71.13 F1スコアで、それぞれ感情分析、肉腫検出、方言識別を行う。
論文 参考訳(メタデータ) (2023-01-06T14:19:46Z) - Sarcasm Detection Framework Using Emotion and Sentiment Features [62.997667081978825]
本研究では,感情と感情の特徴を取り入れたモデルを提案する。
我々のアプローチは、ソーシャルネットワークプラットフォームとオンラインメディアの4つのデータセットに対して、最先端の結果を得た。
論文 参考訳(メタデータ) (2022-11-23T15:14:44Z) - Explaining (Sarcastic) Utterances to Enhance Affect Understanding in
Multimodal Dialogues [40.80696210030204]
本稿では,マルチモーダル(皮肉)対話インスタンスを入力とし,その説明として自然言語文を生成する深層ニューラルネットワーク MOSES を提案する。
本研究では, サルカズム検出, ユーモア識別, 感情認識など, 対話型対話システムにおいて, 様々な自然言語理解タスクに対して生成した説明を活用する。
評価結果から,MOSESはSEDの最先端システムよりも平均2%高い性能を示した。
論文 参考訳(メタデータ) (2022-11-20T18:05:43Z) - Parallel Deep Learning-Driven Sarcasm Detection from Pop Culture Text
and English Humor Literature [0.76146285961466]
ベンチマークポップカルチャー Sarcasm corpus のサーカシックな単語分布特徴を手作業で抽出する。
このような単語から重み付きベクトルからなる入力シーケンスを生成する。
提案するサルカズム検出モデルは,提案したデータセットを用いてトレーニングした場合,98.95%のトレーニング精度をピークとする。
論文 参考訳(メタデータ) (2021-06-10T14:01:07Z) - $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with
Commonsense Knowledge [51.70688120849654]
非皮肉な入力文に基づくサルカズム生成のための教師なしアプローチを提案する。
本手法では,サルカズムの2つの主要な特徴をインスタンス化するために,検索・編集の枠組みを用いる。
論文 参考訳(メタデータ) (2020-04-28T02:30:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。