論文の概要: Comparing Apples to Oranges: A Dataset & Analysis of LLM Humour Understanding from Traditional Puns to Topical Jokes

• arxiv url: http://arxiv.org/abs/2507.13335v1
• Date: Thu, 17 Jul 2025 17:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.609278
• Title: Comparing Apples to Oranges: A Dataset & Analysis of LLM Humour Understanding from Traditional Puns to Topical Jokes
• Title（参考訳）: アップルとオレンジの比較:伝統的なパウンドからトピカル・ジョークへのLLMヒューマー理解のデータセットと分析
• Authors: Tyler Loakman, William Thorne, Chenghua Lin,
• Abstract要約: 我々は,ユーモアを説明するためのLarge Language Models (LLMs) が,特定のユーモア形式に依存するかどうかを検討する。 我々は、現実世界の実体や出来事の知識を必要とする単純な句とより複雑な話題のユーモアのモデルを比較する。 テストされたどのモデルも、すべてのジョークの型についての十分な説明を確実に生成できないことがわかった。
• 参考スコア（独自算出の注目度）: 14.762724547600447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humour, as a complex language form, is derived from myriad aspects of life, whilst existing work on computational humour has focussed almost exclusively on short pun-based jokes. In this work, we investigate whether the ability of Large Language Models (LLMs) to explain humour depends on the particular humour form. We compare models on simple puns and more complex topical humour that requires knowledge of real-world entities and events. In doing so, we curate a dataset of 600 jokes split across 4 joke types and manually write high-quality explanations. These jokes include heterographic and homographic puns, contemporary internet humour, and topical jokes, where understanding relies on reasoning beyond "common sense", rooted instead in world knowledge regarding news events and pop culture. Using this dataset, we compare the zero-shot abilities of a range of LLMs to accurately and comprehensively explain jokes of different types, identifying key research gaps in the task of humour explanation. We find that none of the tested models (inc. reasoning models) are capable of reliably generating adequate explanations of all joke types, further highlighting the narrow focus of most works in computational humour on overly simple joke forms.
• Abstract（参考訳）: ユーモアは複雑な言語形式として、生命の無数の側面から派生しているが、計算ユーモアに関する既存の研究は短い句ベースのジョークにのみ焦点をあてている。 本研究では,大言語モデル(LLM)がユーモアを説明する能力が,特定のユーモア形式に依存しているかどうかを検討する。 我々は、現実世界の実体や出来事の知識を必要とする単純な句とより複雑な話題のユーモアのモデルを比較する。 4つのジョークタイプに分かれた600のジョークのデータセットをキュレートし、手作業で高品質な説明を書きます。 これらのジョークにはヘテログラフィックやホモグラフィックの句、現代のインターネットユーモア、話題のジョークが含まれており、理解はニュースイベントやポップカルチャーに関する世界の知識に根ざした「常識」以上の推論に依存している。 このデータセットを用いて,様々なタイプのジョークを正確かつ包括的に説明するために,LLMのゼロショット能力を比較し,ユーモアの説明作業における重要な研究ギャップを特定する。 実験されたモデル(特に推論モデル)のどれも、すべてのジョークの型についての十分な説明を確実に生成することができず、さらに、超単純なジョーク形式に対する計算ユーモアにおけるほとんどの作品の焦点の狭さを強調している。

関連論文リスト

• From Punchlines to Predictions: A Metric to Assess LLM Performance in Identifying Humor in Stand-Up Comedy [6.124881326867511]
  大きな言語モデルが広く採用されていることを踏まえ、ユーモアとAIの交わりは笑い事ではない。 本研究では,スタンドアップコメディの書き起こしからユーモラスな引用を正確に識別するモデルの有効性を評価する。 ユーモラスなパンチラインを抽出する能力について,様々なプロンプトの中からLLMを評価するために考案された新しいユーモラス検出指標を提案する。
  論文  参考訳（メタデータ） (2025-04-12T02:19:53Z)
• Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
  本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。 提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。 中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-04T18:13:38Z)
• Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
  大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。 我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。 我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
  論文  参考訳（メタデータ） (2024-02-23T02:58:12Z)
• ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models [19.399535453449488]
  OpenAIのChatGPTモデルは、ほとんど人間レベルでコミュニケーションを取り、ジョークを言うことができます。 ジョーク、すなわち生成、説明、検出に関する一連の探索実験において、ChatGPTの人間のユーモアを把握、再現する能力を理解しようと試みる。 私たちの経験的証拠は、ジョークはハードコードではなく、主にモデルによって新たに生成されたものではないことを示している。
  論文  参考訳（メタデータ） (2023-06-07T16:10:21Z)
• The Naughtyformer: A Transformer Understands Offensive Humor [63.05016513788047]
  Redditから抽出された新しいジョークデータセットを導入し、Naughtyformerと呼ばれる微調整されたトランスフォーマーを用いてサブタイプ分類タスクを解決する。 本モデルでは, ジョークの攻撃性の検出が, 最先端の手法と比較して有意に優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-25T20:37:58Z)
• ExPUNations: Augmenting Puns with Keywords and Explanations [88.58174386894913]
  我々は、キーワードの詳細なクラウドソースアノテーションで既存の句のデータセットを拡張する。 これは、パント専用の広範囲できめ細かなアノテーションを備えた最初のユーモアデータセットである。 句分類支援のための説明生成とキーワード条件付き句生成という2つのタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:12:02Z)
• Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results [84.37263300062597]
  風は人間の社会的行動、感情、認知の重要な要素である。 現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。 約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
  論文  参考訳（メタデータ） (2022-09-28T17:36:47Z)
• Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks from The New Yorker Caption Contest [70.40189243067857]
  大きめのニューラルネットワークがジョークを生成できるようになったが、本当にユーモアを「理解」しているのだろうか? 私たちは、New Yorker Cartoon Caption Contestから派生した3つのタスクでAIモデルに挑戦します。 どちらのモデルも3つのタスクすべてで苦労しています。
  論文  参考訳（メタデータ） (2022-09-13T20:54:00Z)
• Uncertainty and Surprisal Jointly Deliver the Punchline: Exploiting Incongruity-Based Features for Humor Recognition [0.6445605125467573]
  ジョークを2つの異なるコンポーネントに分割します。セットアップとパンチラインです。 ユーモアの不整合理論に触発され、セマンティック不確実性を生み出す部分としてセットをモデル化する。 ますます強力な言語モデルによって、私たちはGPT-2言語モデルにパンチラインとともにセットアップをフィードすることができた。
  論文  参考訳（メタデータ） (2020-12-22T13:48:09Z)
• "The Boating Store Had Its Best Sail Ever": Pronunciation-attentive Contextualized Pun Recognition [80.59427655743092]
  そこで我々は,ヒトのユーモアを知覚するために,発音適応型文脈パウン認識(PCPR)を提案する。 PCPRは、周囲の文脈とその対応する音韻記号の関連を捉えることにより、文中の各単語の文脈化された表現を導出する。 その結果,提案手法はパント検出や位置情報タスクにおいて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-29T20:12:20Z)
• Let's be Humorous: Knowledge Enhanced Humor Generation [26.886255899651893]
  関連する知識をセットして、パンチラインを生成する方法について検討する。 我々の知る限り、これは知識強化モデルでパンチラインを生成する最初の試みである。 実験結果から,本手法は知識を生かして,流動的で面白いパンチラインを生成できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-28T06:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。