Fugu-MT 論文翻訳(概要): NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset

論文の概要: NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset

arxiv url: http://arxiv.org/abs/2409.01037v1
Date: Mon, 2 Sep 2024 08:14:49 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 07:49:16.460391
Title: NYK-MS: A Well-annotated Multi-modal Metaphor and Sarcasm Understanding Benchmark on Cartoon-Caption Dataset
Title（参考訳）: NYK-MS:カートゥーン・キャプション・データセットの多モードメタファーとサーカスム理解ベンチマーク
Authors: Ke Chang, Hao Li, Junzhao Zhang, Yunfang Wu,
Abstract要約: 我々は、メタファー理解タスクのための1,583のサンプルを含むNYK-MSという新しいベンチマークを作成する。課題にはメタファ/サルカズムが含まれているか、どの単語やオブジェクトがメタファ/サルカズムを含んでいるか、何が風刺されているのか、なぜなのかなどが含まれる。 7つのタスクはすべて、少なくとも3つのアノテータによって十分に注釈付けされている。
参考スコア（独自算出の注目度）: 11.453576424853749
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Metaphor and sarcasm are common figurative expressions in people's communication, especially on the Internet or the memes popular among teenagers. We create a new benchmark named NYK-MS (NewYorKer for Metaphor and Sarcasm), which contains 1,583 samples for metaphor understanding tasks and 1,578 samples for sarcasm understanding tasks. These tasks include whether it contains metaphor/sarcasm, which word or object contains metaphor/sarcasm, what does it satirize and why does it contains metaphor/sarcasm, all of the 7 tasks are well-annotated by at least 3 annotators. We annotate the dataset for several rounds to improve the consistency and quality, and use GUI and GPT-4V to raise our efficiency. Based on the benchmark, we conduct plenty of experiments. In the zero-shot experiments, we show that Large Language Models (LLM) and Large Multi-modal Models (LMM) can't do classification task well, and as the scale increases, the performance on other 5 tasks improves. In the experiments on traditional pre-train models, we show the enhancement with augment and alignment methods, which prove our benchmark is consistent with previous dataset and requires the model to understand both of the two modalities.
Abstract（参考訳）: メタファーとサルカズムは人々のコミュニケーション、特にインターネットや10代の若者に人気があるミームにおいて一般的な比喩表現である。我々はNYK-MS(NewYorKer for Metaphor and Sarcasm)という新しいベンチマークを作成し、比喩理解タスクの1,583のサンプルと皮肉理解タスクの1,578のサンプルを含む。これらのタスクにはメタファ/サルカズムが含まれているか、どの単語やオブジェクトがメタファ/サルカズムを含んでいるか、何を風刺しているか、なぜそれがメタファ/サルカズムを含んでいるのか、そして7つのタスクのすべてが少なくとも3つのアノテーションによって十分に注釈付けされている。一貫性と品質を向上させるために、いくつかのラウンドでデータセットに注釈を付け、GUIとGPT-4Vを使って効率を上げる。ベンチマークに基づいて、多くの実験を行います。ゼロショット実験では,Large Language Models (LLM) とLarge Multi-modal Models (LMM) が分類タスクをうまく行うことができず,スケールが大きくなるにつれて,他の5つのタスクのパフォーマンスが向上することを示した。従来のプレトレインモデルを用いた実験では,拡張法とアライメント法により,ベンチマークが以前のデータセットと整合性を証明し,両モードの双方を理解するためにモデルが必要であることを示す。

関連論文リスト

VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models [76.94378391979228]
我々は、Interleaved Image-Text (IITC) と呼ばれる、より要求の多い新しいタスクを導入する。この課題は、画像とテキストの両方の過剰な要素を識別・無視し、質問に正確に答えるためにモデルに挑戦する。このタスクを支援するために、科学コンテンツに関するIITCタスクに適した新しいVEGAデータセットを構築し、サブタスクである画像テキストアソシエーション(ITA)を考案した。
論文参考訳（メタデータ） (2024-06-14T17:59:40Z)
Metaphor Understanding Challenge Dataset for LLMs [12.444344984005236]
メタファー理解チャレンジデータセット(MUNCH)をリリースする。 MUNCHは、大規模言語モデル(LLM)のメタファー理解能力を評価するように設計されている。このデータセットは、メタファーの使用を含む文に対して10k以上のパラフレーズと、不適応パラフレーズを含む1.5kのインスタンスを提供する。
論文参考訳（メタデータ） (2024-03-18T14:08:59Z)
Finding Challenging Metaphors that Confuse Pretrained Language Models [21.553915781660905]
現在最先端のNLPモデルにどのようなメタファーが挑戦するのかは不明だ。難解なメタファーを識別するために、特定のモデルに挑戦するメタファーを識別する自動パイプラインを提案する。分析の結果,検出されたハードメタファーはVUAと有意に対照的であり,機械翻訳の精度は16%低下した。
論文参考訳（メタデータ） (2024-01-29T10:00:54Z)
Image Matters: A New Dataset and Empirical Study for Multimodal Hyperbole Detection [52.04083398850383]
私たちはWeibo(中国のソーシャルメディア)からマルチモーダル検出データセットを作成します。 Weiboのテキストとイメージを2つのモダリティとして扱い、ハイパボラ検出におけるテキストとイメージの役割を探求する。また、このダウンストリームタスクにおいて、事前訓練された異なるマルチモーダルエンコーダの評価を行い、その性能を示す。
論文参考訳（メタデータ） (2023-07-01T03:23:56Z)
A Match Made in Heaven: A Multi-task Framework for Hyperbole and Metaphor Detection [27.85834441076481]
ハイパボラとメタファーは日々のコミュニケーションで一般的である。メタファーやハイパーボアを自動的に検出するための既存のアプローチは、これらの言語現象を独立して研究してきた。ハイパーボラとメタファを同時に検出するマルチタスク深層学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-27T14:17:59Z)
I Spy a Metaphor: Large Language Models and Diffusion Models Co-Create Visual Metaphors [38.70166865926743]
言語メタファーから視覚的メタファーを生成するための新しい課題を提案する。これは、暗黙的な意味と構成性をモデル化する能力を必要とするため、拡散ベースのテキスト-画像モデルにとって難しいタスクである。我々は1,540の言語メタファーとそれに関連する視覚的エラボレートのための6,476の視覚的メタファーを含む高品質なデータセットを作成する。
論文参考訳（メタデータ） (2023-05-24T05:01:10Z)
How to Describe Images in a More Funny Way? Towards a Modular Approach to Cross-Modal Sarcasm Generation [62.89586083449108]
本稿では,CMSG(Cross-modal sarcasm Generation)の新たな問題,すなわち,与えられた画像に対してサーカシックな記述を生成することについて検討する。 CMSGは、異なるモード間の相関だけでなく、サルカズムの特性をモデルが満たさなければならないため、困難である。クロスモデルサルカズム生成のための抽出・生成・生成に基づくモジュール法(EGRM)を提案する。
論文参考訳（メタデータ） (2022-11-20T14:38:24Z)
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文参考訳（メタデータ） (2021-06-05T20:40:01Z)
MERMAID: Metaphor Generation with Symbolism and Discriminative Decoding [22.756157298168127]
メタファーとシンボル間の理論的に基底的な接続に基づいて,並列コーパスを自動構築する手法を提案する。生成タスクには、並列データに微調整されたシーケンスモデルへのシーケンスの復号を導くためのメタファ判別器を組み込んだ。課題に基づく評価では、比喩のない詩に比べて、比喩で強化された人文詩が68%の時間を好むことが示されている。
論文参考訳（メタデータ） (2021-03-11T16:39:19Z)
Video Understanding as Machine Translation [53.59298393079866]
我々は、単一の統合フレームワークを用いて、様々なダウンストリームビデオ理解タスクに取り組む。映像分類(EPIC-Kitchens)、質問応答(TVQA)、キャプション(TVC, YouCook2, MSR-VTT)など、いくつかのダウンストリームタスクにおいて、現状よりもパフォーマンスの向上が報告されている。
論文参考訳（メタデータ） (2020-06-12T14:07:04Z)
Metaphoric Paraphrase Generation [58.592750281138265]
クラウドソーシングを用いてその結果を評価し,メタファー的パラフレーズを評価するための自動指標を開発する。語彙置換ベースラインは正確なパラフレーズを生成できるが、比喩的でないことが多い。メタファーマスキングモデルでは,メタファー文の生成に優れ,流布やパラフレーズの品質に関してはほぼ同等に機能する。
論文参考訳（メタデータ） (2020-02-28T16:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。