論文の概要: Not All Jokes Land: Evaluating Large Language Models Understanding of Workplace Humor

• arxiv url: http://arxiv.org/abs/2506.01819v2
• Date: Fri, 06 Jun 2025 07:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.050063
• Title: Not All Jokes Land: Evaluating Large Language Models Understanding of Workplace Humor
• Title（参考訳）: ジョークランドのすべてではない - 職場の噂を理解するための大規模言語モデルの評価
• Authors: Mohammadamin Shafiei, Hamidreza Saffari,
• Abstract要約: プロのユーモアステートメントのデータセットと,各ステートメントの適切性を決定する機能を開発する。 5つの大言語モデルに対する評価は、LLMがユーモアの妥当性を正確に判断するのに苦戦していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: With the recent advances in Artificial Intelligence (AI) and Large Language Models (LLMs), the automation of daily tasks, like automatic writing, is getting more and more attention. Hence, efforts have focused on aligning LLMs with human values, yet humor, particularly professional industrial humor used in workplaces, has been largely neglected. To address this, we develop a dataset of professional humor statements along with features that determine the appropriateness of each statement. Our evaluation of five LLMs shows that LLMs often struggle to judge the appropriateness of humor accurately.
• Abstract（参考訳）: 人工知能(AI)とLarge Language Models(LLM)の最近の進歩により、自動記述のような日々のタスクの自動化がますます注目を集めている。 そのため、LLMを人的価値、ユーモア、特に職場で使われるプロの工業的ユーモアと整合させることに注力してきたが、ほとんど無視されてきた。 これを解決するために,各文の適切性を決定する機能とともに,プロのユーモア文のデータセットを開発する。 LLMを5つ評価した結果,LLMはユーモアの妥当性を正確に判断するのに苦慮していることがわかった。

関連論文リスト

• From Punchlines to Predictions: A Metric to Assess LLM Performance in Identifying Humor in Stand-Up Comedy [6.124881326867511]
  大きな言語モデルが広く採用されていることを踏まえ、ユーモアとAIの交わりは笑い事ではない。 本研究では,スタンドアップコメディの書き起こしからユーモラスな引用を正確に識別するモデルの有効性を評価する。 ユーモラスなパンチラインを抽出する能力について,様々なプロンプトの中からLLMを評価するために考案された新しいユーモラス検出指標を提案する。
  論文  参考訳（メタデータ） (2025-04-12T02:19:53Z)
• Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
  本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。 提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。 中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-04T18:13:38Z)
• Do Language Models Enjoy Their Own Stories? Prompting Large Language Models for Automatic Story Evaluation [15.718288693929019]
  大規模言語モデル(LLM)は多くのNLPタスクで最先端のパフォーマンスを達成する。 LLMがヒトアノテーターの代用として使用できるかどうかを検討した。 LLMはシステムレベルの評価において,現在の自動測定値よりも優れていますが,十分な説明が得られていないことが分かりました。
  論文  参考訳（メタデータ） (2024-05-22T15:56:52Z)
• Getting Serious about Humor: Crafting Humor Datasets with Unfunny Large Language Models [27.936545041302377]
  大規模言語モデル(LLM)は、テキストを編集することでユーモア検出のための合成データを生成することができる。 我々は、既存の人間のデータセット上でLLMをベンチマークし、現在のLLMは、ジョークを「不快に」する印象的な能力を示すことを示す。 我々は、GPT-4の合成データがバイリンガルアノテータによって高度に評価されているという、コード混成のイングリッシュ・ヒンディー語ユーモアデータセットにアプローチを拡張した。
  論文  参考訳（メタデータ） (2024-02-23T02:58:12Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Inner Monologue: Embodied Reasoning through Planning with Language Models [81.07216635735571]
  大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
  論文  参考訳（メタデータ） (2022-07-12T15:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。