論文の概要: Pragmatic Metacognitive Prompting Improves LLM Performance on Sarcasm Detection

• arxiv url: http://arxiv.org/abs/2412.04509v1
• Date: Wed, 04 Dec 2024 07:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:46.251338
• Title: Pragmatic Metacognitive Prompting Improves LLM Performance on Sarcasm Detection
• Title（参考訳）: サルカスム検出における実用的メタ認知プロンプトによるLCM性能の向上
• Authors: Joshua Lee, Wyatt Fong, Alexander Le, Sur Shah, Kevin Han, Kevin Zhu,
• Abstract要約: PMP(Pragmatic Metacognitive Prompting)を導入し,肉腫検出におけるLarge Language Models(LLMs)の性能向上を図る。 LLaMA-3-8B、GPT-4o、Claude 3.5 Sonnetのような最先端のLCMを用いて、PMPはGPT-4oの最先端の性能を達成する。 本研究は, 現実的推論とメタ認知戦略の統合により, LLMの肉腫検出能力が著しく向上することを示した。
• 参考スコア（独自算出の注目度）: 40.493832682762246
• License:
• Abstract: Sarcasm detection is a significant challenge in sentiment analysis due to the nuanced and context-dependent nature of verbiage. We introduce Pragmatic Metacognitive Prompting (PMP) to improve the performance of Large Language Models (LLMs) in sarcasm detection, which leverages principles from pragmatics and reflection helping LLMs interpret implied meanings, consider contextual cues, and reflect on discrepancies to identify sarcasm. Using state-of-the-art LLMs such as LLaMA-3-8B, GPT-4o, and Claude 3.5 Sonnet, PMP achieves state-of-the-art performance on GPT-4o on MUStARD and SemEval2018. This study demonstrates that integrating pragmatic reasoning and metacognitive strategies into prompting significantly enhances LLMs' ability to detect sarcasm, offering a promising direction for future research in sentiment analysis.
• Abstract（参考訳）: サルカスムの検出は、言葉のニュアンスと文脈に依存した性質のため、感情分析において重要な課題である。 本稿では,言語モデル (LLMs) のサルカズム検出における性能向上にPMP(Pragmatic Metacognitive Prompting)を導入した。 LLaMA-3-8B、GPT-4o、Claude 3.5 Sonnetのような最先端のLLMを用いて、PMPはMUStARDとSemEval2018のGPT-4oで最先端のパフォーマンスを達成する。 本研究は、現実的な推論とメタ認知戦略を統合することで、LSMの肉腫検出能力が著しく向上し、将来の感情分析研究の方向性を示すことを実証する。

関連論文リスト

• SarcasmBench: Towards Evaluating Large Language Models on Sarcasm Understanding [19.412462224847086]
  異なるプロンプト手法を用いて,広く使用されている6つのベンチマークデータセットの評価を行った。 GPT-4 は様々なプロンプト法で他の LLM よりも一貫して著しく優れている。 ゼロショットIOプロンプト法は、ゼロショットIOと少数ショットCoTという2つの方法より優れている。
  論文  参考訳（メタデータ） (2024-08-21T03:59:51Z)
• RVISA: Reasoning and Verification for Implicit Sentiment Analysis [18.836998294161834]
  暗黙の感情分析(ISA)は、表現に有能なキュー語が欠如していることで大きな課題となる。 本研究では,DO LLMの生成能力とED LLMの推論能力を利用した2段階推論フレームワークであるRVISAを提案する。
  論文  参考訳（メタデータ） (2024-07-02T15:07:54Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Can large language models understand uncommon meanings of common words? [30.527834781076546]
  大規模言語モデル(LLM)は、様々な自然言語理解(NLU)タスクに大きく進歩している。 しかし、LLMがオウムなのか、本当の意味で世界を理解するのかは、広く認知されている試験機構が欠如している。 本稿では,新しい評価指標を用いたレキシカルセマンティックデータセットの革新的構築について述べる。
  論文  参考訳（メタデータ） (2024-05-09T12:58:22Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding [1.3654846342364308]
  LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。 本論文は,LLM能力の批判において再発する3点を批判的に評価する。 LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
  論文  参考訳（メタデータ） (2023-10-30T15:51:04Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Metacognitive Prompting Improves Understanding in Large Language Models [12.112914393948415]
  メタ認知プロンプト(MP)は,人間の内省的推論プロセスにインスパイアされた戦略である。 我々は10の自然言語理解(NLU)データセットにまたがる4つの先行するLarge Language Model(LLM)の実験を行った。 MPは、一般的なNLUタスクとドメイン固有のNLUタスクの両方において、既存のプロンプトメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-08-10T05:10:17Z)
• Revisiting the Reliability of Psychological Scales on Large Language Models [62.57981196992073]
  本研究の目的は,大規模言語モデルにパーソナリティアセスメントを適用することの信頼性を明らかにすることである。 GPT-3.5、GPT-4、Gemini-Pro、LLaMA-3.1などのモデル毎の2,500設定の分析により、様々なLCMがビッグファイブインベントリに応答して一貫性を示すことが明らかになった。
  論文  参考訳（メタデータ） (2023-05-31T15:03:28Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。