論文の概要: Finding Challenging Metaphors that Confuse Pretrained Language Models
- arxiv url: http://arxiv.org/abs/2401.16012v1
- Date: Mon, 29 Jan 2024 10:00:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 15:13:58.309374
- Title: Finding Challenging Metaphors that Confuse Pretrained Language Models
- Title(参考訳): 事前制約言語モデルと混同する混在メタファーの発見
- Authors: Yucheng Li, Frank Guerin, Chenghua Lin
- Abstract要約: 現在最先端のNLPモデルにどのようなメタファーが挑戦するのかは不明だ。
難解なメタファーを識別するために、特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。
分析の結果,検出されたハードメタファーはVUAと有意に対照的であり,機械翻訳の精度は16%低下した。
- 参考スコア(独自算出の注目度): 21.553915781660905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Metaphors are considered to pose challenges for a wide spectrum of NLP tasks.
This gives rise to the area of computational metaphor processing. However, it
remains unclear what types of metaphors challenge current state-of-the-art
models. In this paper, we test various NLP models on the VUA metaphor dataset
and quantify to what extent metaphors affect models' performance on various
downstream tasks. Analysis reveals that VUA includes a large number of
metaphors that pose little difficulty to downstream tasks. We would like to
shift the attention of researchers away from these metaphors to instead focus
on challenging metaphors. To identify hard metaphors, we propose an automatic
pipeline that identifies metaphors that challenge a particular model. Our
analysis demonstrates that our detected hard metaphors contrast significantly
with VUA and reduce the accuracy of machine translation by 16\%, QA performance
by 4\%, NLI by 7\%, and metaphor identification recall by over 14\% for various
popular NLP systems.
- Abstract(参考訳): メタファーは幅広いNLPタスクに課題をもたらすと考えられている。
これにより、計算的メタファー処理の領域が生まれる。
しかし、どのようなメタファーが現在の最先端モデルに挑戦するのかは、まだ不明である。
本稿では,vuaメタファデータセット上で様々なnlpモデルをテストし,様々な下流タスクにおけるモデルの性能にどの程度影響するかを定量化する。
分析によると、vuaにはダウンストリームタスクの難しさをほとんど表さない多数のメタファーが含まれている。
研究者の注意をこれらの比喩から遠ざけ、代わりに挑戦的な比喩に焦点をあてたい。
ハードメタファーを特定するために,特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。
分析の結果,検出されたハードメタファーはvuaと著しく対比し,機械翻訳の精度を16\%,qa性能を4\%,nliを7\%,メタファー識別を14\%以上低減した。
関連論文リスト
- That was the last straw, we need more: Are Translation Systems Sensitive
to Disambiguating Context? [64.38544995251642]
我々は、源泉に存在している意味的あいまいさ(本研究における英語)について研究する。
我々は、リテラルと図形の両方にオープンなイディオムに焦点を当てている。
現在のMTモデルは、たとえ文脈が比喩的解釈を示しているとしても、英語のイディオムを文字通りに翻訳する。
論文 参考訳(メタデータ) (2023-10-23T06:38:49Z) - Metaphorical Polysemy Detection: Conventional Metaphor meets Word Sense
Disambiguation [9.860944032009847]
言語学者は、NLPのメタファ検出タスクが考慮しない、新しいメタファと従来のメタファを区別する。
本稿では,従来のメタファをこのような方法で扱う際の限界について検討する。
我々は、英語のWordNetにおける従来のメタファーを識別する最初のMPDモデルを開発した。
論文 参考訳(メタデータ) (2022-12-16T10:39:22Z) - A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。
主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。
コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
論文 参考訳(メタデータ) (2022-06-19T08:55:07Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳(メタデータ) (2022-04-26T23:42:22Z) - On the Impact of Temporal Representations on Metaphor Detection [1.6959319157216468]
メタファー検出のための最先端のアプローチは、ニューラルネットワークに基づくシーケンシャルなメタファー分類器を使用して、リテラル(リテラル、またはコア)の意味と文脈的意味を比較する。
本研究では, 時間的, 静的な単語の埋め込みを, 意味の表現に用い, 詳細な探索分析によるメタファ検出課題について検討する。
その結果,異なる単語の埋め込みがメタファー検出タスクや時間的単語の埋め込みに影響を及ぼすことが示唆された。
論文 参考訳(メタデータ) (2021-11-05T08:43:21Z) - When Does Translation Require Context? A Data-driven, Multilingual
Exploration [71.43817945875433]
談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する
文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。
談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
論文 参考訳(メタデータ) (2021-09-15T17:29:30Z) - Metaphor Generation with Conceptual Mappings [58.61307123799594]
我々は、関連する動詞を置き換えることで、リテラル表現を与えられた比喩文を生成することを目指している。
本稿では,認知領域間の概念マッピングを符号化することで生成過程を制御することを提案する。
教師なしCM-Lexモデルは,近年のディープラーニングメタファ生成システムと競合することを示す。
論文 参考訳(メタデータ) (2021-06-02T15:27:05Z) - MelBERT: Metaphor Detection via Contextualized Late Interaction using
Metaphorical Identification Theories [5.625405679356158]
本稿では,BERT(MelBERT)上のメタファ認識遅延相互作用という,新しいメタファ検出モデルを提案する。
我々のモデルは文脈化された単語表現を利用するだけでなく、文脈的意味とリテラル的意味を区別する言語的メタファー識別理論の利点も活用している。
論文 参考訳(メタデータ) (2021-04-28T07:52:01Z) - Interpreting Verbal Metaphors by Paraphrasing [12.750941606061877]
パラフレージング法が最先端のベースラインを著しく上回ることを示す。
また,本手法は,英語のメタファーを8言語に翻訳することで,機械翻訳システムの精度向上に役立つことを示す。
論文 参考訳(メタデータ) (2021-04-07T21:00:23Z) - MERMAID: Metaphor Generation with Symbolism and Discriminative Decoding [22.756157298168127]
メタファーとシンボル間の理論的に基底的な接続に基づいて,並列コーパスを自動構築する手法を提案する。
生成タスクには、並列データに微調整されたシーケンスモデルへのシーケンスの復号を導くためのメタファ判別器を組み込んだ。
課題に基づく評価では、比喩のない詩に比べて、比喩で強化された人文詩が68%の時間を好むことが示されている。
論文 参考訳(メタデータ) (2021-03-11T16:39:19Z) - Metaphoric Paraphrase Generation [58.592750281138265]
クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。
語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。
メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
論文 参考訳(メタデータ) (2020-02-28T16:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。