論文の概要: From Punchlines to Predictions: A Metric to Assess LLM Performance in Identifying Humor in Stand-Up Comedy

• arxiv url: http://arxiv.org/abs/2504.09049v1
• Date: Sat, 12 Apr 2025 02:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:12.984343
• Title: From Punchlines to Predictions: A Metric to Assess LLM Performance in Identifying Humor in Stand-Up Comedy
• Title（参考訳）: パンチラインから予測へ:スタンドアップコメディーにおける音の識別におけるLCM性能を評価する指標
• Authors: Adrianna Romanowski, Pedro H. V. Valois, Kazuhiro Fukui,
• Abstract要約: 大きな言語モデルが広く採用されていることを踏まえ、ユーモアとAIの交わりは笑い事ではない。 本研究では,スタンドアップコメディの書き起こしからユーモラスな引用を正確に識別するモデルの有効性を評価する。 ユーモラスなパンチラインを抽出する能力について,様々なプロンプトの中からLLMを評価するために考案された新しいユーモラス検出指標を提案する。
• 参考スコア（独自算出の注目度）: 6.124881326867511
• License:
• Abstract: Comedy serves as a profound reflection of the times we live in and is a staple element of human interactions. In light of the widespread adoption of Large Language Models (LLMs), the intersection of humor and AI has become no laughing matter. Advancements in the naturalness of human-computer interaction correlates with improvements in AI systems' abilities to understand humor. In this study, we assess the ability of models in accurately identifying humorous quotes from a stand-up comedy transcript. Stand-up comedy's unique comedic narratives make it an ideal dataset to improve the overall naturalness of comedic understanding. We propose a novel humor detection metric designed to evaluate LLMs amongst various prompts on their capability to extract humorous punchlines. The metric has a modular structure that offers three different scoring methods - fuzzy string matching, sentence embedding, and subspace similarity - to provide an overarching assessment of a model's performance. The model's results are compared against those of human evaluators on the same task. Our metric reveals that regardless of prompt engineering, leading models, ChatGPT, Claude, and DeepSeek, achieve scores of at most 51% in humor detection. Notably, this performance surpasses that of humans who achieve a score of 41%. The analysis of human evaluators and LLMs reveals variability in agreement, highlighting the subjectivity inherent in humor and the complexities involved in extracting humorous quotes from live performance transcripts. Code available at https://github.com/swaggirl9000/humor.
• Abstract（参考訳）: コメディーは私たちが生きている時代を深く反映し、人間の相互作用の基本的な要素である。 LLM(Large Language Models)が広く採用されていることを踏まえ、ユーモアとAIの交わりは笑い事ではない。 人間とコンピュータの相互作用の自然性の向上は、ユーモアを理解するAIシステムの能力の向上と相関している。 本研究では,スタンドアップコメディの書き起こしからユーモラスな引用を正確に識別するモデルの有効性を評価する。 スタンドアップコメディの独自の喜劇物語は、喜劇理解の全体的な自然性を改善するのに理想的なデータセットである。 ユーモラスなパンチラインを抽出する能力について,様々なプロンプトの中からLLMを評価するために考案された新しいユーモラス検出指標を提案する。 このメトリクスは、3つの異なるスコアリング方法 – ファジィ文字列マッチング、文埋め込み、サブスペース類似性 – を提供するモジュール構造を持ち、モデルのパフォーマンスを総合的に評価する。 モデルの結果は、同じタスクにおける人間の評価者と比較される。 我々の測定結果から,先行モデルであるChatGPT,Claude,DeepSeekのいずれも,ユーモア検出において少なくとも51%のスコアを得ることができた。 特に、このパフォーマンスは、スコアが41%に達する人間のパフォーマンスを上回っます。 人間の評価者やLLMの分析は、ユーモアに固有の主観性や、実演の台詞からユーモアの引用を抽出する際の複雑さを浮き彫りにした。 コードはhttps://github.com/swaggirl9000/humor.comで公開されている。

関連論文リスト

• Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
  本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。 提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。 中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-04T18:13:38Z)
• Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
  大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。 我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。 我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
  論文  参考訳（メタデータ） (2024-02-23T02:58:12Z)
• Making Flow-Matching-Based Zero-Shot Text-to-Speech Laugh as You Like [49.2096391012794]
  ELaTEはゼロショットのTSであり、短い音声プロンプトに基づいて、あらゆる話者の自然な笑い声を生成することができる。 本研究では,条件付きフローマッチングに基づくゼロショットTSに基づくモデルを開発した。 ELaTE は従来のモデルに比べて格段に高い品質と制御性で笑い音声を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-02-12T02:58:10Z)
• The Naughtyformer: A Transformer Understands Offensive Humor [63.05016513788047]
  Redditから抽出された新しいジョークデータセットを導入し、Naughtyformerと呼ばれる微調整されたトランスフォーマーを用いてサブタイプ分類タスクを解決する。 本モデルでは, ジョークの攻撃性の検出が, 最先端の手法と比較して有意に優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-25T20:37:58Z)
• This joke is [MASK]: Recognizing Humor and Offense with Prompting [9.745213455946324]
  風は日々の人間との交流やコミュニケーションにおいて磁気的要素である。 ユーモア認識のためのNLPの新しい伝達学習パラダイムであるプロンプトの有効性について検討する。
  論文  参考訳（メタデータ） (2022-10-25T13:02:45Z)
• Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results [84.37263300062597]
  風は人間の社会的行動、感情、認知の重要な要素である。 現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。 約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
  論文  参考訳（メタデータ） (2022-09-28T17:36:47Z)
• DeHumor: Visual Analytics for Decomposing Humor [36.300283476950796]
  公言におけるユーモラスな行動を分析する視覚システムであるDeHumorを開発した。 それぞれの具体例の構成要素を直感的に明らかにするために、DeHumorはユーモラスな動画をマルチモーダルな特徴に分解する。 DeHumorはユーモアのユーモアの例として、さまざまなビルディングブロックをハイライトすることができる。
  論文  参考訳（メタデータ） (2021-07-18T04:01:07Z)
• Uncertainty and Surprisal Jointly Deliver the Punchline: Exploiting Incongruity-Based Features for Humor Recognition [0.6445605125467573]
  ジョークを2つの異なるコンポーネントに分割します。セットアップとパンチラインです。 ユーモアの不整合理論に触発され、セマンティック不確実性を生み出す部分としてセットをモデル化する。 ますます強力な言語モデルによって、私たちはGPT-2言語モデルにパンチラインとともにセットアップをフィードすることができた。
  論文  参考訳（メタデータ） (2020-12-22T13:48:09Z)
• Predicting the Humorousness of Tweets Using Gaussian Process Preference Learning [56.18809963342249]
  本稿では,人間の嗜好判断と言語アノテーションの自動生成を利用して,短文のユーモラスさのランク付けと評価を学習する確率論的アプローチを提案する。 本研究は, HAHA@IberLEF 2019データにおける数値スコアの変換と, 提案手法に必要な判定アノテーションの相互変換から生じる問題点について報告する。
  論文  参考訳（メタデータ） (2020-08-03T13:05:42Z)
• "The Boating Store Had Its Best Sail Ever": Pronunciation-attentive Contextualized Pun Recognition [80.59427655743092]
  そこで我々は,ヒトのユーモアを知覚するために,発音適応型文脈パウン認識(PCPR)を提案する。 PCPRは、周囲の文脈とその対応する音韻記号の関連を捉えることにより、文中の各単語の文脈化された表現を導出する。 その結果,提案手法はパント検出や位置情報タスクにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-29T20:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。