論文の概要: Impact of Stickers on Multimodal Sentiment and Intent in Social Media: A New Task, Dataset and Baseline
- arxiv url: http://arxiv.org/abs/2405.08427v2
- Date: Wed, 23 Jul 2025 14:35:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.640223
- Title: Impact of Stickers on Multimodal Sentiment and Intent in Social Media: A New Task, Dataset and Baseline
- Title（参考訳）: ソーシャルメディアにおけるスタンプがマルチモーダル感とインテントに及ぼす影響:新しいタスク,データセット,ベースライン
- Authors: Yuanchen Shi, Biao Ma, Longyin Zhang, Fang Kong,
- Abstract要約: textbfMultimodal chat textbfSentiment textbfAnalysis and textbfIntent textbfRecognition with textbfStickers (MSAIRS)
いくつかの主流ソーシャルメディアプラットフォームから抽出された,中国のチャット記録とステッカーを含む新しいマルチモーダルデータセットを提案する。
私たちのデータセットには、同じテキストでペア化されたデータと、異なるスタンプ、同じステッカーと異なるコンテキストで、異なるテキストで同じイメージで構成されるさまざまなステッカーが含まれています。
- 参考スコア（独自算出の注目度）: 7.511319064436072
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Stickers are increasingly used in social media to express sentiment and intent. Despite their significant impact on sentiment analysis and intent recognition, little research has been conducted in this area. To address this gap, we propose a new task: \textbf{M}ultimodal chat \textbf{S}entiment \textbf{A}nalysis and \textbf{I}ntent \textbf{R}ecognition involving \textbf{S}tickers (MSAIRS). Additionally, we introduce a novel multimodal dataset containing Chinese chat records and stickers excerpted from several mainstream social media platforms. Our dataset includes paired data with the same text but different stickers, the same sticker but different contexts, and various stickers consisting of the same images with different texts, allowing us to better understand the impact of stickers on chat sentiment and intent. We also propose an effective multimodal joint model, MMSAIR, featuring differential vector construction and cascaded attention mechanisms for enhanced multimodal fusion. Our experiments demonstrate the necessity and effectiveness of jointly modeling sentiment and intent, as they mutually reinforce each other's recognition accuracy. MMSAIR significantly outperforms traditional models and advanced MLLMs, demonstrating the challenge and uniqueness of sticker interpretation in social media. Our dataset and code are available on https://github.com/FakerBoom/MSAIRS-Dataset.
- Abstract（参考訳）: スタンプは、感情や意図を表現するためにソーシャルメディアでますます使われている。
感情分析や意図認識に大きな影響を与えているにもかかわらず、この分野ではほとんど研究が行われていない。
このギャップに対処するために、新しいタスクを提案する: \textbf{M}ultimodal chat \textbf{S}entiment \textbf{A}nalysis and \textbf{I}ntent \textbf{R}ecognition with \textbf{S}tickers (MSAIRS)。
さらに,いくつかの主流ソーシャルメディアプラットフォームから抽出した,中国のチャット記録とステッカーを含む新しいマルチモーダルデータセットを導入する。
私たちのデータセットには、同じテキストでペア化されたデータと、異なるスタンプ、同じスタンプと異なるコンテキストでペア化されたデータと、異なるテキストで同じイメージで構成されたさまざまなスタンプが含まれています。
また,差分ベクトル構築と多モード融合強化のためのカスケードアテンション機構を特徴とする有効マルチモーダルジョイントモデル MMSAIR を提案する。
本実験は, 相互の認識精度を高めるために, 感情と意図を共同でモデル化することの必要性と有効性を示すものである。
MMSAIRは従来のモデルや高度なMLLMよりも優れており、ソーシャルメディアにおけるステッカー解釈の難しさと独特さを示している。
私たちのデータセットとコードはhttps://github.com/FakerBoom/MSAIRS-Dataset.orgで公開されています。
関連論文リスト
- MGHFT: Multi-Granularity Hierarchical Fusion Transformer for Cross-Modal Sticker Emotion Recognition [29.045940445247872]
新規な多粒性階層型核融合変圧器(MGHFT)を提案する。
まず、マルチモーダル大言語モデルを用いてステッカーを解釈する。
そして、テキストコンテキストを視覚的理解に融合させる階層的な融合戦略を設計する。
論文 参考訳（メタデータ） (2025-07-25T03:42:26Z) - Small Stickers, Big Meanings: A Multilingual Sticker Semantic Understanding Dataset with a Gamified Approach [21.279568613306573]
我々は,多種多様で高品質で,文脈的に共鳴するステッカークエリを収集するために設計された,ゲーミフィケーションアノテーションフレームワークであるSticktionaryを紹介した。
次に、60時間以上のコントリビュータによって注釈付けされた1,115の英語と615の中国語クエリを含む、多言語ステッカークエリデータセットであるStickerQueriesを紹介する。
第3に,本手法がステッカー領域におけるクエリ生成品質,検索精度,意味理解を著しく向上させることを示す。
論文 参考訳（メタデータ） (2025-06-02T13:38:45Z) - PerSRV: Personalized Sticker Retrieval with Vision-Language Model [21.279568613306573]
本稿では,Personalized Sticker Retrieval with Vision-Language Model framework,すなわちPerSRVを提案する。
ステッカーレベルのセマンティック理解のために, 微調整したLLaVA-1.5-7Bを用いて人間のようなステッカーセマンティクスを生成する。
第3に、ユーザの過去のインタラクションに基づいて、スタイルセントロイドをクラスタリングし、個人の嗜好モデリングを実現する。
論文 参考訳（メタデータ） (2024-10-29T07:13:47Z) - Multi-modal Stance Detection: New Datasets and Model [56.97470987479277]
テキストと画像からなるツイートに対するマルチモーダル姿勢検出について検討する。
我々は、シンプルで効果的なマルチモーダル・プロンプト・チューニング・フレームワーク(TMPT)を提案する。
TMPTはマルチモーダル姿勢検出における最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-22T05:24:19Z) - Sticker820K: Empowering Interactive Retrieval with Stickers [34.67442172774095]
我々は,820kの画像テキストペアからなる,大規模な中国のステッカーデータセットであるSticker820Kを提案する。
それぞれのステッカーには、説明、光学的文字、感情的ラベル、スタイル分類を含むリッチで高品質なテキストアノテーションがある。
テキスト・ツー・イメージ検索タスクでは、StickerCLIPがCLIPよりも優れていることが示され、平均リコールの66.0%が絶対的に向上した。
論文 参考訳（メタデータ） (2023-06-12T05:06:53Z) - Micro-video Tagging via Jointly Modeling Social Influence and Tag
Relation [56.23157334014773]
85.7%のマイクロビデオにはアノテーションがない。
既存の手法は、主にビデオコンテンツの分析、ユーザの社会的影響やタグ関係を無視することに焦点を当てている。
構築したヘテロジニアスネットワークにおけるリンク予測問題として,マイクロビデオタギングを定式化する。
論文 参考訳（メタデータ） (2023-03-15T02:13:34Z) - Selecting Stickers in Open-Domain Dialogue through Multitask Learning [51.67855506570727]
本稿では,3つの補助課題からなるマルチタスク学習手法を提案する。
我々のモデルは多モード情報をうまく組み合わせて、強いベースラインよりもはるかに高い精度が得られる。
論文 参考訳（メタデータ） (2022-09-16T03:45:22Z) - Learning to Respond with Your Favorite Stickers: A Framework of Unifying
Multi-Modality and User Preference in Multi-Turn Dialog [67.91114640314004]
鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。
スタンプイメージと過去の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。
ユーザ履歴を用いたマルチターン・ダイアログ・コンテキストとステッカーに基づいて,ユーザに対して適切なステッカーを推奨する。
論文 参考訳（メタデータ） (2020-11-05T03:31:17Z) - Cross-Media Keyphrase Prediction: A Unified Framework with
Multi-Modality Multi-Head Attention and Image Wordings [63.79979145520512]
マルチメディア投稿におけるキーワード予測におけるテキストと画像の併用効果について検討する。
複雑なマルチメディアインタラクションを捉えるために,M3H-Att(Multi-Modality Multi-Head Attention)を提案する。
我々のモデルは,従来の注目ネットワークに基づいて,過去の技術状況よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-11-03T08:44:18Z) - Content-based Analysis of the Cultural Differences between TikTok and
Douyin [95.32409577885645]
ショートフォームのソーシャルメディアは、聴衆にダイナミックなストーリーを伝え、彼らの注意を引き付けることによって、伝統的なメディアパラダイムから遠ざかる。
特に、興味深く、理解しやすいユニークなシーンを表現するために、日常的なオブジェクトの異なる組み合わせを用いることができる。
同じ会社によって提供されたTikTokとDouyinは、近年人気になった新しいメディアの好例だ。
メディアファッションや社会的慣用性とともに文化的な違いを表現しているという仮説が,本研究の主目的である。
論文 参考訳（メタデータ） (2020-11-03T01:47:49Z) - Learning to Respond with Stickers: A Framework of Unifying
Multi-Modality in Multi-Turn Dialog [65.7021675527543]
鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。
スタンプのテキストラベルと以前の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。
我々は,外部ラベルを使わずに,マルチターン・ダイアログのコンテキスト履歴に基づいた適切なステッカーをユーザに提案する。
論文 参考訳（メタデータ） (2020-03-10T13:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。