論文の概要: Nice perfume. How long did you marinate in it? Multimodal Sarcasm Explanation

• arxiv url: http://arxiv.org/abs/2112.04873v1
• Date: Thu, 9 Dec 2021 12:49:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 14:21:26.584499
• Title: Nice perfume. How long did you marinate in it? Multimodal Sarcasm Explanation
• Title（参考訳）: いい香水だ それはいつから結婚したのですか。 マルチモーダルサルカズムの解説
• Authors: Poorav Desai, Tanmoy Chakraborty, Md Shad Akhtar
• Abstract要約: サルカスムは侵入する言語現象であり、非常に説明が難しい。 マルチモーダル設定では、サルカズムはテキストと視覚的実体の間の矛盾を通して伝達される。 マルチモーダルサルカスム説明(MuSE)という新しい問題を提案する。
• 参考スコア（独自算出の注目度）: 18.23523076710257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sarcasm is a pervading linguistic phenomenon and highly challenging to explain due to its subjectivity, lack of context and deeply-felt opinion. In the multimodal setup, sarcasm is conveyed through the incongruity between the text and visual entities. Although recent approaches deal with sarcasm as a classification problem, it is unclear why an online post is identified as sarcastic. Without proper explanation, end users may not be able to perceive the underlying sense of irony. In this paper, we propose a novel problem -- Multimodal Sarcasm Explanation (MuSE) -- given a multimodal sarcastic post containing an image and a caption, we aim to generate a natural language explanation to reveal the intended sarcasm. To this end, we develop MORE, a new dataset with explanation of 3510 sarcastic multimodal posts. Each explanation is a natural language (English) sentence describing the hidden irony. We benchmark MORE by employing a multimodal Transformer-based architecture. It incorporates a cross-modal attention in the Transformer's encoder which attends to the distinguishing features between the two modalities. Subsequently, a BART-based auto-regressive decoder is used as the generator. Empirical results demonstrate convincing results over various baselines (adopted for MuSE) across five evaluation metrics. We also conduct human evaluation on predictions and obtain Fleiss' Kappa score of 0.4 as a fair agreement among 25 evaluators.
• Abstract（参考訳）: サルカズムは広汎な言語現象であり、その主観性、文脈の欠如、深遠な意見のために説明するのが非常に困難である。 マルチモーダルな設定では、サーカズムはテキストと視覚エンティティの間の違和感を通じて伝達される。 近年の分類問題としてサルカシムを扱っているが、なぜオンライン投稿がサルカシックであると特定されるのかは不明である。 適切な説明がなければ、エンドユーザは根底にある皮肉の感覚を認識できないかもしれない。 本稿では,画像とキャプションを含むマルチモーダルサーカスティックなポストが与えられた場合,意図するサーカズムを明らかにするために,自然言語による説明を生成することを目的とした,新しい問題であるマルチモーダルサーカズム説明(muse)を提案する。 この目的のために,3510個のサーカシックなマルチモーダルポストを記述した新しいデータセットMOREを開発した。 それぞれの説明は、隠れた皮肉を表す自然言語(英語)の文である。 マルチモーダルトランスフォーマーアーキテクチャを用いてMOREをベンチマークする。 トランスフォーマーのエンコーダには、この2つのモダリティの区別する特徴に付随するクロスモーダルな注意が組み込まれている。 その後、BARTベースの自動回帰デコーダがジェネレータとして使用される。 実験結果は、5つの評価指標にわたる様々なベースライン(museで採用)に対して説得力のある結果を示している。 また,予測に対する人間による評価を行い,FleissのKappaスコア0.4を25人の評価者の間で公正な合意として取得する。

関連論文リスト

• Sentiment-enhanced Graph-based Sarcasm Explanation in Dialogue [67.09698638709065]
  本稿では,SEntiment-enhanceD Graph を用いたマルチモーダルサルカズム記述フレームワーク EDGE を提案する。 特に,まずレキシコン誘導型発話感情推論モジュールを提案し,そこでは発話感情改善戦略を考案する。 次に,マルチモーダル感情分析モデル JCA を拡張し,映像音声クリップ毎に共同感情ラベルを導出することにより,JCA-SI (Joint Cross Attention-based Sentiment Inference) というモジュールを開発する。
  論文  参考訳（メタデータ） (2024-02-06T03:14:46Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• Researchers eye-view of sarcasm detection in social media textual content [0.0]
  ソーシャルメディアにおけるあらゆる形態のコミュニケーションにおける皮肉文の使用は、ターゲットユーザに対する生理的効果をもたらす。 本稿では,様々なサルカズム検出手法について論じ,いくつかのアプローチ,および最適な特徴を持つ関連するデータセットを結論づける。
  論文  参考訳（メタデータ） (2023-04-17T19:45:10Z)
• Sarcasm Detection Framework Using Emotion and Sentiment Features [62.997667081978825]
  本研究では,感情と感情の特徴を取り入れたモデルを提案する。 我々のアプローチは、ソーシャルネットワークプラットフォームとオンラインメディアの4つのデータセットに対して、最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-11-23T15:14:44Z)
• How to Describe Images in a More Funny Way? Towards a Modular Approach to Cross-Modal Sarcasm Generation [62.89586083449108]
  本稿では,CMSG(Cross-modal sarcasm Generation)の新たな問題,すなわち,与えられた画像に対してサーカシックな記述を生成することについて検討する。 CMSGは、異なるモード間の相関だけでなく、サルカズムの特性をモデルが満たさなければならないため、困難である。 クロスモデルサルカズム生成のための抽出・生成・生成に基づくモジュール法(EGRM)を提案する。
  論文  参考訳（メタデータ） (2022-11-20T14:38:24Z)
• Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement [31.97249246223621]
  サルカスム(Sarcasm)は、文字通りの意味と暗示意図の相違を示す言語現象である。 既存の技術のほとんどは、テキスト入力と付随する画像の間の原子レベルの不整合をモデル化しただけだった。 本稿では,マルチヘッドのクロスアテンション機構に基づく原子レベルの合同性と,グラフニューラルネットワークに基づく合成レベルの合同性の両方を探索し,サルカズム検出のための新しい階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-07T12:44:33Z)
• Multimodal Learning using Optimal Transport for Sarcasm and Humor Detection [76.62550719834722]
  会話ビデオと画像テキストのペアからマルチモーダルサルカズムとユーモアを検出する。 本稿では,モーダル内対応を利用したマルチモーダル学習システム MuLOT を提案する。 3つのベンチマークデータセット上で,マルチモーダルサルカズムとユーモア検出のためのアプローチを検証した。
  論文  参考訳（メタデータ） (2021-10-21T07:51:56Z)
• Multi-Modal Sarcasm Detection Based on Contrastive Attention Mechanism [7.194040730138362]
  本研究では、モーダリティ間コントラストアテンションに基づくSarcasm Detection(ConAttSD)モデルを構築し、モーダリティ間コントラストアテンション機構を用いて発話のコントラスト特徴を抽出する。 ベンチマークマルチモーダルサルカズムデータセットであるMUStARDに関する実験により,提案したConAttSDモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2021-09-30T14:17:51Z)
• Parallel Deep Learning-Driven Sarcasm Detection from Pop Culture Text and English Humor Literature [0.76146285961466]
  ベンチマークポップカルチャー Sarcasm corpus のサーカシックな単語分布特徴を手作業で抽出する。 このような単語から重み付きベクトルからなる入力シーケンスを生成する。 提案するサルカズム検出モデルは,提案したデータセットを用いてトレーニングした場合,98.95%のトレーニング精度をピークとする。
  論文  参考訳（メタデータ） (2021-06-10T14:01:07Z)
• Sarcasm Detection using Context Separators in Online Discourse [3.655021726150369]
  サルカズム(Sarcasm)は、意味が暗黙的に伝えられる複雑な形態の言語である。 本研究では,RoBERTa_largeを用いて2つのデータセットの皮肉を検出する。 また,文脈単語埋め込みモデルの性能向上における文脈の重要性を主張する。
  論文  参考訳（メタデータ） (2020-06-01T10:52:35Z)
• $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge [51.70688120849654]
  非皮肉な入力文に基づくサルカズム生成のための教師なしアプローチを提案する。 本手法では,サルカズムの2つの主要な特徴をインスタンス化するために,検索・編集の枠組みを用いる。
  論文  参考訳（メタデータ） (2020-04-28T02:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。