論文の概要: Finding Challenging Metaphors that Confuse Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2401.16012v1
• Date: Mon, 29 Jan 2024 10:00:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 15:13:58.309374
• Title: Finding Challenging Metaphors that Confuse Pretrained Language Models
• Title（参考訳）: 事前制約言語モデルと混同する混在メタファーの発見
• Authors: Yucheng Li, Frank Guerin, Chenghua Lin
• Abstract要約: 現在最先端のNLPモデルにどのようなメタファーが挑戦するのかは不明だ。 難解なメタファーを識別するために、特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。 分析の結果,検出されたハードメタファーはVUAと有意に対照的であり,機械翻訳の精度は16%低下した。
• 参考スコア（独自算出の注目度）: 21.553915781660905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metaphors are considered to pose challenges for a wide spectrum of NLP tasks. This gives rise to the area of computational metaphor processing. However, it remains unclear what types of metaphors challenge current state-of-the-art models. In this paper, we test various NLP models on the VUA metaphor dataset and quantify to what extent metaphors affect models' performance on various downstream tasks. Analysis reveals that VUA includes a large number of metaphors that pose little difficulty to downstream tasks. We would like to shift the attention of researchers away from these metaphors to instead focus on challenging metaphors. To identify hard metaphors, we propose an automatic pipeline that identifies metaphors that challenge a particular model. Our analysis demonstrates that our detected hard metaphors contrast significantly with VUA and reduce the accuracy of machine translation by 16\%, QA performance by 4\%, NLI by 7\%, and metaphor identification recall by over 14\% for various popular NLP systems.
• Abstract（参考訳）: メタファーは幅広いNLPタスクに課題をもたらすと考えられている。 これにより、計算的メタファー処理の領域が生まれる。 しかし、どのようなメタファーが現在の最先端モデルに挑戦するのかは、まだ不明である。 本稿では,vuaメタファデータセット上で様々なnlpモデルをテストし,様々な下流タスクにおけるモデルの性能にどの程度影響するかを定量化する。 分析によると、vuaにはダウンストリームタスクの難しさをほとんど表さない多数のメタファーが含まれている。 研究者の注意をこれらの比喩から遠ざけ、代わりに挑戦的な比喩に焦点をあてたい。 ハードメタファーを特定するために,特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。 分析の結果,検出されたハードメタファーはvuaと著しく対比し,機械翻訳の精度を16\%,qa性能を4\%,nliを7\%,メタファー識別を14\%以上低減した。

関連論文リスト

• Unveiling the Invisible: Captioning Videos with Metaphors [43.53477124719281]
  本稿では,VL(Vision-Language)タスクについて紹介する。 この作業を容易にするために,705の動画と2115の人書きキャプションでデータセットを構築し,リリースする。 また,提案課題における SoTA ビデオ言語モデルに匹敵する性能を持つ低リソースなビデオメタファキャプションシステム GIT-LLaVA を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:32:44Z)
• Meta4XNLI: A Crosslingual Parallel Corpus for Metaphor Detection and Interpretation [6.0158981171030685]
  本稿ではスペイン語と英語の両方でメタファアノテーションを含むメタファ検出と解釈のタスクのための新しい並列データセットを提案する。 言語モデルのメタファ識別と理解能力について,一言語間実験と言語間実験による検討を行った。
  論文  参考訳（メタデータ） (2024-04-10T14:44:48Z)
• Metaphor Understanding Challenge Dataset for LLMs [12.444344984005236]
  メタファー理解チャレンジデータセット(MUNCH)をリリースする。 MUNCHは、大規模言語モデル(LLM)のメタファー理解能力を評価するように設計されている。 このデータセットは、メタファーの使用を含む文に対して10k以上のパラフレーズと、不適応パラフレーズを含む1.5kのインスタンスを提供する。
  論文  参考訳（メタデータ） (2024-03-18T14:08:59Z)
• Metaphorical Polysemy Detection: Conventional Metaphor meets Word Sense Disambiguation [9.860944032009847]
  言語学者は、NLPのメタファ検出タスクが考慮しない、新しいメタファと従来のメタファを区別する。 本稿では,従来のメタファをこのような方法で扱う際の限界について検討する。 我々は、英語のWordNetにおける従来のメタファーを識別する最初のMPDモデルを開発した。
  論文  参考訳（メタデータ） (2022-12-16T10:39:22Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Metaphor Generation with Conceptual Mappings [58.61307123799594]
  我々は、関連する動詞を置き換えることで、リテラル表現を与えられた比喩文を生成することを目指している。 本稿では,認知領域間の概念マッピングを符号化することで生成過程を制御することを提案する。 教師なしCM-Lexモデルは,近年のディープラーニングメタファ生成システムと競合することを示す。
  論文  参考訳（メタデータ） (2021-06-02T15:27:05Z)
• MelBERT: Metaphor Detection via Contextualized Late Interaction using Metaphorical Identification Theories [5.625405679356158]
  本稿では,BERT(MelBERT)上のメタファ認識遅延相互作用という,新しいメタファ検出モデルを提案する。 我々のモデルは文脈化された単語表現を利用するだけでなく、文脈的意味とリテラル的意味を区別する言語的メタファー識別理論の利点も活用している。
  論文  参考訳（メタデータ） (2021-04-28T07:52:01Z)
• Interpreting Verbal Metaphors by Paraphrasing [12.750941606061877]
  パラフレージング法が最先端のベースラインを著しく上回ることを示す。 また,本手法は,英語のメタファーを8言語に翻訳することで,機械翻訳システムの精度向上に役立つことを示す。
  論文  参考訳（メタデータ） (2021-04-07T21:00:23Z)
• Metaphoric Paraphrase Generation [58.592750281138265]
  クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。 語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。 メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
  論文  参考訳（メタデータ） (2020-02-28T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。