論文の概要: "A good pun is its own reword": Can Large Language Models Understand Puns?

• arxiv url: http://arxiv.org/abs/2404.13599v1
• Date: Sun, 21 Apr 2024 09:42:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 18:21:27.317023
• Title: "A good pun is its own reword": Can Large Language Models Understand Puns?
• Title（参考訳）: 「良い言葉は自分自身の言葉である」:大言語モデルは修道女を理解できるか?
• Authors: Zhijun Xu, Siyu Yuan, Lingjie Chen, Deqing Yang,
• Abstract要約: 修道女は、独自の構造と明確な定義のために、学術研究において重要な役割を担っている。 大規模言語モデル (LLM) における句の理解については, 十分に検討されていない。
• 参考スコア（独自算出の注目度）: 9.541689402830642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Puns play a vital role in academic research due to their distinct structure and clear definition, which aid in the comprehensive analysis of linguistic humor. However, the understanding of puns in large language models (LLMs) has not been thoroughly examined, limiting their use in creative writing and humor creation. In this paper, we leverage three popular tasks, i.e., pun recognition, explanation and generation to systematically evaluate the capabilities of LLMs in pun understanding. In addition to adopting the automated evaluation metrics from prior research, we introduce new evaluation methods and metrics that are better suited to the in-context learning paradigm of LLMs. These new metrics offer a more rigorous assessment of an LLM's ability to understand puns and align more closely with human cognition than previous metrics. Our findings reveal the "lazy pun generation" pattern and identify the primary challenges LLMs encounter in understanding puns.
• Abstract（参考訳）: 修道女は、言語学のユーモアを包括的に分析する上で、その構造と明確な定義から、学術研究において重要な役割を担っている。 しかし、大きな言語モデル(LLM)における句の理解は、創造的な文章やユーモアの創造においての使用を制限する、徹底的に検討されていない。 本稿では,句認識,説明,生成という3つの一般的な課題を活用し,句理解におけるLLMの能力を体系的に評価する。 先行研究から自動評価指標を採用することに加えて,LLMの文脈内学習パラダイムに適合する新しい評価手法と評価指標を導入する。 これらの新しい指標は、従来の指標よりも人間の認知とより緊密に一致し、句を理解するLLMの能力をより厳密に評価する。 以上の結果から,LLMがパント理解に直面する主な課題は,「怠慢なパント生成」パターンであることが明らかとなった。

関連論文リスト

• A Statistical Analysis of LLMs' Self-Evaluation Using Proverbs [1.9073729452914245]
  本稿では,300対の確率対からなる新規な確率データベースについて紹介する。 そこで本研究では,テキストのコンバージェンスと,類似の証明における数値コンバージェンスを評価するテストを提案する。
  論文  参考訳（メタデータ） (2024-10-22T02:38:48Z)
• Can Pre-trained Language Models Understand Chinese Humor? [74.96509580592004]
  本論文は,事前学習言語モデル(PLM)のユーモア理解能力を体系的に研究する最初の論文である。 提案した評価フレームワークのすべてのデータ要件を完全に満たす中国の総合的ユーモアデータセットを構築した。 中国のユーモアデータセットに関する実証的研究は、ユーモア理解と生成におけるPLMの将来の最適化に非常に役立つ貴重な観察結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-04T18:13:38Z)
• Can large language models understand uncommon meanings of common words? [30.527834781076546]
  大規模言語モデル(LLM)は、様々な自然言語理解(NLU)タスクに大きく進歩している。 しかし、LLMがオウムなのか、本当の意味で世界を理解するのかは、広く認知されている試験機構が欠如している。 本稿では,新しい評価指標を用いたレキシカルセマンティックデータセットの革新的構築について述べる。
  論文  参考訳（メタデータ） (2024-05-09T12:58:22Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• ExPUNations: Augmenting Puns with Keywords and Explanations [88.58174386894913]
  我々は、キーワードの詳細なクラウドソースアノテーションで既存の句のデータセットを拡張する。 これは、パント専用の広範囲できめ細かなアノテーションを備えた最初のユーモアデータセットである。 句分類支援のための説明生成とキーワード条件付き句生成という2つのタスクを提案する。
  論文  参考訳（メタデータ） (2022-10-24T18:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。