論文の概要: Metaphor Understanding Challenge Dataset for LLMs

• arxiv url: http://arxiv.org/abs/2403.11810v1
• Date: Mon, 18 Mar 2024 14:08:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:10:10.234272
• Title: Metaphor Understanding Challenge Dataset for LLMs
• Title（参考訳）: LLMのためのメタファー理解チャレンジデータセット
• Authors: Xiaoyu Tong, Rochelle Choenni, Martha Lewis, Ekaterina Shutova,
• Abstract要約: メタファー理解チャレンジデータセット(MUNCH)をリリースする。 MUNCHは、大規模言語モデル(LLM)のメタファー理解能力を評価するように設計されている。 このデータセットは、メタファーの使用を含む文に対して10k以上のパラフレーズと、不適応パラフレーズを含む1.5kのインスタンスを提供する。
• 参考スコア（独自算出の注目度）: 12.444344984005236
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Metaphors in natural language are a reflection of fundamental cognitive processes such as analogical reasoning and categorisation, and are deeply rooted in everyday communication. Metaphor understanding is therefore an essential task for large language models (LLMs). We release the Metaphor Understanding Challenge Dataset (MUNCH), designed to evaluate the metaphor understanding capabilities of LLMs. The dataset provides over 10k paraphrases for sentences containing metaphor use, as well as 1.5k instances containing inapt paraphrases. The inapt paraphrases were carefully selected to serve as control to determine whether the model indeed performs full metaphor interpretation or rather resorts to lexical similarity. All apt and inapt paraphrases were manually annotated. The metaphorical sentences cover natural metaphor uses across 4 genres (academic, news, fiction, and conversation), and they exhibit different levels of novelty. Experiments with LLaMA and GPT-3.5 demonstrate that MUNCH presents a challenging task for LLMs. The dataset is freely accessible at https://github.com/xiaoyuisrain/metaphor-understanding-challenge.
• Abstract（参考訳）: 自然言語のメタファーは、類推や分類のような基本的な認知過程の反映であり、日常のコミュニケーションに深く根ざしている。 したがってメタファー理解は、大きな言語モデル(LLM)にとって不可欠なタスクである。 LLMのメタファー理解能力を評価するために,メタファー理解課題データセット(MUNCH)をリリースする。 このデータセットは、メタファーの使用を含む文に対して10k以上のパラフレーズと、不適応パラフレーズを含む1.5kのインスタンスを提供する。 不適応パラフレーズは、モデルが本当に完全な比喩解釈を行うか、むしろ語彙的類似性に頼るかを決定するための制御として慎重に選択された。 アクトと不適応のパラフレーズはすべて手動で注釈付けされた。 比喩文は4つのジャンル(学術、ニュース、フィクション、会話)にまたがる自然な比喩をカバーし、それぞれ異なるレベルのノベルティを示す。 LLaMA と GPT-3.5 の実験により、MUNCH は LLM にとって困難な課題であることが示された。 データセットはhttps://github.com/xiaoyuisrain/metaphor-understanding-challengeで自由にアクセスできる。

関連論文リスト

• Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory [0.0]
  本研究では,Large Language Models (LLM) が,自然言語データにおける概念的メタファの存在を正確に識別し,説明することができることを示す。 メタファアノテーションガイドラインに基づく新しいプロンプト手法を用いて,LLMが概念的メタファに関する大規模計算研究において有望なツールであることを実証した。
  論文  参考訳（メタデータ） (2024-10-11T17:03:13Z)
• NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset [11.453576424853749]
  我々は、メタファー理解タスクのための1,583のサンプルを含むNYK-MSという新しいベンチマークを作成する。 課題にはメタファ/サルカズムが含まれているか、どの単語やオブジェクトがメタファ/サルカズムを含んでいるか、何が風刺されているのか、なぜなのかなどが含まれる。 7つのタスクはすべて、少なくとも3つのアノテータによって十分に注釈付けされている。
  論文  参考訳（メタデータ） (2024-09-02T08:14:49Z)
• A framework for annotating and modelling intentions behind metaphor use [12.40493670580608]
  本稿では,9つのカテゴリーから構成されるメタファーに起因した意図の新たな分類法を提案する。 また、メタファの使用の背後にある意図に注釈を付けた最初のデータセットもリリースしました。 このデータセットを用いて、メタファー使用の背景にある意図を、ゼロテキストおよびインコンテキストの少数ショット設定で推測する際の、大きな言語モデル(LLM)の機能をテストする。
  論文  参考訳（メタデータ） (2024-07-04T14:13:57Z)
• LFED: A Literary Fiction Evaluation Dataset for Large Language Models [58.85989777743013]
  元々は中国語で書かれたか、中国語に翻訳された95の文学小説を収集し、数世紀にわたって幅広い話題を扱っている。 質問分類を8つのカテゴリーで定義し,1,304の質問の作成を導く。 我々は、小説の特定の属性(小説の種類、文字番号、出版年など)がLLMのパフォーマンスに与える影響を詳細に分析する。
  論文  参考訳（メタデータ） (2024-05-16T15:02:24Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Finding Challenging Metaphors that Confuse Pretrained Language Models [21.553915781660905]
  現在最先端のNLPモデルにどのようなメタファーが挑戦するのかは不明だ。 難解なメタファーを識別するために、特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。 分析の結果,検出されたハードメタファーはVUAと有意に対照的であり,機械翻訳の精度は16%低下した。
  論文  参考訳（メタデータ） (2024-01-29T10:00:54Z)
• That was the last straw, we need more: Are Translation Systems Sensitive to Disambiguating Context? [64.38544995251642]
  我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。 我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。 現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
  論文  参考訳（メタデータ） (2023-10-23T06:38:49Z)
• Metaphor Generation with Conceptual Mappings [58.61307123799594]
  我々は、関連する動詞を置き換えることで、リテラル表現を与えられた比喩文を生成することを目指している。 本稿では,認知領域間の概念マッピングを符号化することで生成過程を制御することを提案する。 教師なしCM-Lexモデルは,近年のディープラーニングメタファ生成システムと競合することを示す。
  論文  参考訳（メタデータ） (2021-06-02T15:27:05Z)
• MERMAID: Metaphor Generation with Symbolism and Discriminative Decoding [22.756157298168127]
  メタファーとシンボル間の理論的に基底的な接続に基づいて,並列コーパスを自動構築する手法を提案する。 生成タスクには、並列データに微調整されたシーケンスモデルへのシーケンスの復号を導くためのメタファ判別器を組み込んだ。 課題に基づく評価では、比喩のない詩に比べて、比喩で強化された人文詩が68%の時間を好むことが示されている。
  論文  参考訳（メタデータ） (2021-03-11T16:39:19Z)
• Probing Pretrained Language Models for Lexical Semantics [76.73599166020307]
  類型的多様言語と5つの異なる語彙課題にまたがる系統的経験分析を行った。 我々の結果は、普遍的に維持されるパターンとベストプラクティスを示しているが、言語やタスクにまたがる顕著なバリエーションを示している。
  論文  参考訳（メタデータ） (2020-10-12T14:24:01Z)
• Metaphoric Paraphrase Generation [58.592750281138265]
  クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。 語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。 メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
  論文  参考訳（メタデータ） (2020-02-28T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。