論文の概要: Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement

• arxiv url: http://arxiv.org/abs/2210.03501v1
• Date: Fri, 7 Oct 2022 12:44:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 14:01:08.896836
• Title: Towards Multi-Modal Sarcasm Detection via Hierarchical Congruity Modeling with Knowledge Enhancement
• Title（参考訳）: 知識エンハンスメントを用いた階層的合同モデルによるマルチモーダルサーカズム検出に向けて
• Authors: Hui Liu, Wenya Wang, Haoliang Li
• Abstract要約: サルカスム(Sarcasm)は、文字通りの意味と暗示意図の相違を示す言語現象である。 既存の技術のほとんどは、テキスト入力と付随する画像の間の原子レベルの不整合をモデル化しただけだった。 本稿では,マルチヘッドのクロスアテンション機構に基づく原子レベルの合同性と,グラフニューラルネットワークに基づく合成レベルの合同性の両方を探索し,サルカズム検出のための新しい階層的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 31.97249246223621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sarcasm is a linguistic phenomenon indicating a discrepancy between literal meanings and implied intentions. Due to its sophisticated nature, it is usually challenging to be detected from the text itself. As a result, multi-modal sarcasm detection has received more attention in both academia and industries. However, most existing techniques only modeled the atomic-level inconsistencies between the text input and its accompanying image, ignoring more complex compositions for both modalities. Moreover, they neglected the rich information contained in external knowledge, e.g., image captions. In this paper, we propose a novel hierarchical framework for sarcasm detection by exploring both the atomic-level congruity based on multi-head cross attention mechanism and the composition-level congruity based on graph neural networks, where a post with low congruity can be identified as sarcasm. In addition, we exploit the effect of various knowledge resources for sarcasm detection. Evaluation results on a public multi-modal sarcasm detection dataset based on Twitter demonstrate the superiority of our proposed model.
• Abstract（参考訳）: サルカスム(Sarcasm)は、文字通りの意味と暗示意図の相違を示す言語現象である。 その洗練された性質から、通常はテキスト自体から検出されることが困難である。 その結果,多変量サルカズム検出は産学・産学ともに注目されている。 しかし、既存のほとんどの技術は、テキスト入力と付随する画像の間の原子レベルの不整合をモデル化し、両方のモダリティに対してより複雑な構成を無視した。 さらに、画像キャプションなどの外部知識に含まれる豊富な情報を無視した。 本稿では,マルチヘッドのクロスアテンション機構に基づく原子レベルの一致と,グラフニューラルネットワークに基づく構成レベルの一致の両方を探索し,低いコングロリティを持つポストをサルカズムとして同定することで,サルカズム検出のための新しい階層的枠組みを提案する。 さらに,サルカズム検出における各種知識資源の効果を生かした。 Twitterに基づく公共マルチモーダルサルカズム検出データセットの評価結果は,提案モデルが優れていることを示す。

関連論文リスト

• A Survey of Multimodal Sarcasm Detection [32.659528422756416]
  サルカスム(Sarcasm)は、発音の文字通りの意味の反対を伝達するために用いられる修辞的な装置である。 これまでに,マルチモーダルサルカズム検出に関する総合的な調査が報告されている。
  論文  参考訳（メタデータ） (2024-10-24T16:17:47Z)
• Modelling Visual Semantics via Image Captioning to extract Enhanced Multi-Level Cross-Modal Semantic Incongruity Representation with Attention for Multimodal Sarcasm Detection [12.744170917349287]
  本研究では,入力三重項を処理可能なマルチモーダルサルカズム検出のための新しいフレームワークを提案する。 提案したモデルは、TwitterのマルチモーダルサルカムとMultiBullyデータセットでそれぞれ92.89%と64.48%の精度を達成する。
  論文  参考訳（メタデータ） (2024-08-05T16:07:31Z)
• Sentiment-enhanced Graph-based Sarcasm Explanation in Dialogue [67.09698638709065]
  本稿では,SEntiment-enhanceD Graph を用いたマルチモーダルサルカズム記述フレームワーク EDGE を提案する。 特に,まずレキシコン誘導型発話感情推論モジュールを提案し,そこでは発話感情改善戦略を考案する。 次に,マルチモーダル感情分析モデル JCA を拡張し,映像音声クリップ毎に共同感情ラベルを導出することにより,JCA-SI (Joint Cross Attention-based Sentiment Inference) というモジュールを開発する。
  論文  参考訳（メタデータ） (2024-02-06T03:14:46Z)
• Multi-source Semantic Graph-based Multimodal Sarcasm Explanation Generation [53.97962603641629]
  本稿では,mulTi-source sEmantic grAph-based Multimodal sarcasm explanation scheme, TEAMを提案する。 TEAMは、入力画像から従来のグローバルな視覚的特徴の代わりに、オブジェクトレベルのセマンティックメタデータを抽出する。 TEAMはマルチソース意味関係を包括的に特徴付けるマルチソース意味グラフを導入している。
  論文  参考訳（メタデータ） (2023-06-29T03:26:10Z)
• Sarcasm Detection Framework Using Emotion and Sentiment Features [62.997667081978825]
  本研究では,感情と感情の特徴を取り入れたモデルを提案する。 我々のアプローチは、ソーシャルネットワークプラットフォームとオンラインメディアの4つのデータセットに対して、最先端の結果を得た。
  論文  参考訳（メタデータ） (2022-11-23T15:14:44Z)
• How to Describe Images in a More Funny Way? Towards a Modular Approach to Cross-Modal Sarcasm Generation [62.89586083449108]
  本稿では,CMSG(Cross-modal sarcasm Generation)の新たな問題,すなわち,与えられた画像に対してサーカシックな記述を生成することについて検討する。 CMSGは、異なるモード間の相関だけでなく、サルカズムの特性をモデルが満たさなければならないため、困難である。 クロスモデルサルカズム生成のための抽出・生成・生成に基づくモジュール法(EGRM)を提案する。
  論文  参考訳（メタデータ） (2022-11-20T14:38:24Z)
• Multi-Modal Sarcasm Detection Based on Contrastive Attention Mechanism [7.194040730138362]
  本研究では、モーダリティ間コントラストアテンションに基づくSarcasm Detection(ConAttSD)モデルを構築し、モーダリティ間コントラストアテンション機構を用いて発話のコントラスト特徴を抽出する。 ベンチマークマルチモーダルサルカズムデータセットであるMUStARDに関する実験により,提案したConAttSDモデルの有効性を実証した。
  論文  参考訳（メタデータ） (2021-09-30T14:17:51Z)
• Interpretable Multi-Head Self-Attention model for Sarcasm Detection in social media [0.0]
  sarcastic expressionの曖昧さは、sarcasmの発見を非常に困難にしている。 マルチヘッドセルフアテンションとゲートリカレントユニットを用いた解釈可能なディープラーニングモデルを開発する。 本稿では,複数のデータセットで最新の結果を得る手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-01-14T21:39:35Z)
• Sarcasm Detection using Context Separators in Online Discourse [3.655021726150369]
  サルカズム(Sarcasm)は、意味が暗黙的に伝えられる複雑な形態の言語である。 本研究では,RoBERTa_largeを用いて2つのデータセットの皮肉を検出する。 また,文脈単語埋め込みモデルの性能向上における文脈の重要性を主張する。
  論文  参考訳（メタデータ） (2020-06-01T10:52:35Z)
• $R^3$: Reverse, Retrieve, and Rank for Sarcasm Generation with Commonsense Knowledge [51.70688120849654]
  非皮肉な入力文に基づくサルカズム生成のための教師なしアプローチを提案する。 本手法では,サルカズムの2つの主要な特徴をインスタンス化するために,検索・編集の枠組みを用いる。
  論文  参考訳（メタデータ） (2020-04-28T02:30:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。