論文の概要: Chumor 2.0: Towards Benchmarking Chinese Humor Understanding

• arxiv url: http://arxiv.org/abs/2412.17729v1
• Date: Mon, 23 Dec 2024 17:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:00:54.437580
• Title: Chumor 2.0: Towards Benchmarking Chinese Humor Understanding
• Title（参考訳）: Chumor 2.0: 漢文理解のベンチマークに向けて
• Authors: Ruiqi He, Yushu He, Longju Bai, Jiarui Liu, Zhenjie Sun, Zenghao Tang, He Wang, Hanchen Xia, Rada Mihalcea, Naihao Deng,
• Abstract要約: Chumorは中国初のユーモアデータセットで、既存のユーモアデータセットの規模を超える。 Chumorは中国のRedditのようなプラットフォームで、知的に挑戦的で文化的に特定のジョークを共有することで有名だ。
• 参考スコア（独自算出の注目度）: 23.370445567734798
• License:
• Abstract: Existing humor datasets and evaluations predominantly focus on English, leaving limited resources for culturally nuanced humor in non-English languages like Chinese. To address this gap, we construct Chumor, the first Chinese humor explanation dataset that exceeds the size of existing humor datasets. Chumor is sourced from Ruo Zhi Ba, a Chinese Reddit-like platform known for sharing intellectually challenging and culturally specific jokes. We test ten LLMs through direct and chain-of-thought prompting, revealing that Chumor poses significant challenges to existing LLMs, with their accuracy slightly above random and far below human. In addition, our analysis highlights that human-annotated humor explanations are significantly better than those generated by GPT-4o and ERNIE-4-turbo. We release Chumor at https://huggingface.co/datasets/dnaihao/Chumor, our project page is at https://dnaihao.github.io/Chumor-dataset/, our leaderboard is at https://huggingface.co/spaces/dnaihao/Chumor, and our codebase is at https://github.com/dnaihao/Chumor-dataset.
• Abstract（参考訳）: 既存のユーモアデータセットと評価は主に英語に重点を置いており、中国語のような非英語の言語では、文化的にニュアンスのあるユーモアの限られた資源を残している。 このギャップに対処するため,中国初のユーモア説明データセットであるChumorを構築した。 Chumorは中国のRedditのようなプラットフォームで、知的に挑戦的で文化的に特定のジョークを共有することで有名だ。 直列と直列のプロンプトによって10個のLSMをテストしたところ、Chumorが既存のLSMに重大な課題をもたらし、その精度はランダムで人間よりはるかに低いことが判明した。 また,本研究では,GPT-4oとERNIE-4-turboが生成したものよりも,人間のアノテーションによるユーモアの説明が有意に優れていることを強調した。 Chumor at https://huggingface.co/datasets/dnaihao/Chumor、プロジェクトページはhttps://dnaihao.github.io/Chumor-dataset/、リーダーボードはhttps://huggingface.co/spaces/dnaihao/Chumor、コードベースはhttps://github.com/dnaihao/Chumor-datasetです。

関連論文リスト

• Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
  本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。 提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。 中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-04T18:13:38Z)
• Is AI fun? HumorDB: a curated dataset and benchmark to investigate graphical humor [8.75275650545552]
  HumorDBは、視覚的ユーモア理解を促進するために特別に設計された、イメージのみのデータセットである。 このデータセットは、バイナリ分類、レンジ回帰、ペアワイズ比較タスクによる評価を可能にする。 HumorDBは、強力な大規模マルチモーダルモデルの貴重なベンチマークとしての可能性を示している。
  論文  参考訳（メタデータ） (2024-06-19T13:51:40Z)
• Chumor 1.0: A Truly Funny and Challenging Chinese Humor Understanding Dataset from Ruo Zhi Ba [7.878358092927338]
  われわれは、中国のRedditのようなプラットフォームであるRuo Zhi Ba(RZB)をベースとしたデータセットであるChumorを構築した。 ジョークごとの説明に注釈を付け,2つの最先端LCM, GPT-4o, ERNIE Botに対する人間の説明を評価する。 評価の結果,SOTA LLMにおいてもChumorは難易度が高く,人間によるChumorのジョークの説明はLLMによる説明よりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-18T16:22:05Z)
• Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
  大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。 我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。 我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
  論文  参考訳（メタデータ） (2024-02-23T02:58:12Z)
• ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models [19.399535453449488]
  OpenAIのChatGPTモデルは、ほとんど人間レベルでコミュニケーションを取り、ジョークを言うことができます。 ジョーク、すなわち生成、説明、検出に関する一連の探索実験において、ChatGPTの人間のユーモアを把握、再現する能力を理解しようと試みる。 私たちの経験的証拠は、ジョークはハードコードではなく、主にモデルによって新たに生成されたものではないことを示している。
  論文  参考訳（メタデータ） (2023-06-07T16:10:21Z)
• The Naughtyformer: A Transformer Understands Offensive Humor [63.05016513788047]
  Redditから抽出された新しいジョークデータセットを導入し、Naughtyformerと呼ばれる微調整されたトランスフォーマーを用いてサブタイプ分類タスクを解決する。 本モデルでは, ジョークの攻撃性の検出が, 最先端の手法と比較して有意に優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-25T20:37:58Z)
• ExPUNations: Augmenting Puns with Keywords and Explanations [88.58174386894913]
  我々は、キーワードの詳細なクラウドソースアノテーションで既存の句のデータセットを拡張する。 これは、パント専用の広範囲できめ細かなアノテーションを備えた最初のユーモアデータセットである。 句分類支援のための説明生成とキーワード条件付き句生成という2つのタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:12:02Z)
• Towards Multimodal Prediction of Spontaneous Humour: A Novel Dataset and First Results [84.37263300062597]
  風は人間の社会的行動、感情、認知の重要な要素である。 現在のユーモア検出法は、ステージ化されたデータのみに基づいており、「現実世界」の応用には不十分である。 約11時間の記録を含むPassau-Spontaneous Football Coach Humorデータセットを導入することで,この障害への対処に寄与する。
  論文  参考訳（メタデータ） (2022-09-28T17:36:47Z)
• Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks from The New Yorker Caption Contest [70.40189243067857]
  大きめのニューラルネットワークがジョークを生成できるようになったが、本当にユーモアを「理解」しているのだろうか? 私たちは、New Yorker Cartoon Caption Contestから派生した3つのタスクでAIモデルに挑戦します。 どちらのモデルも3つのタスクすべてで苦労しています。
  論文  参考訳（メタデータ） (2022-09-13T20:54:00Z)
• M2H2: A Multimodal Multiparty Hindi Dataset For Humor Recognition in Conversations [72.81164101048181]
  テレビシリーズ『Shrimaan Shrimati Phir Se』の13話から6,191発の発声を含む会話におけるマルチモーダル・マルチパーティ・ヒンディー・ヒューム(M2H2)認識のためのデータセットを提案する。 それぞれの発話はユーモア/非感情ラベルでアノテートされ、音響、視覚、テキストのモダリティを含む。 M2H2データセットにおける実験結果から,マルチモーダル情報はユーモア認識のための単調な情報を補完することが示された。
  論文  参考訳（メタデータ） (2021-08-03T02:54:09Z)
• Let's be Humorous: Knowledge Enhanced Humor Generation [26.886255899651893]
  関連する知識をセットして、パンチラインを生成する方法について検討する。 我々の知る限り、これは知識強化モデルでパンチラインを生成する最初の試みである。 実験結果から,本手法は知識を生かして,流動的で面白いパンチラインを生成できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-28T06:06:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。