論文の概要: Learning to Respond with Your Favorite Stickers: A Framework of Unifying Multi-Modality and User Preference in Multi-Turn Dialog

• arxiv url: http://arxiv.org/abs/2011.03322v1
• Date: Thu, 5 Nov 2020 03:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 11:30:16.573663
• Title: Learning to Respond with Your Favorite Stickers: A Framework of Unifying Multi-Modality and User Preference in Multi-Turn Dialog
• Title（参考訳）: 好きなステッカーで応答する学習:マルチターンダイアログにおけるマルチモダリティとユーザ嗜好を統一するフレームワーク
• Authors: Shen Gao, Xiuying Chen, Li Liu, Dongyan Zhao and Rui Yan
• Abstract要約: 鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプイメージと過去の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 ユーザ履歴を用いたマルチターン・ダイアログ・コンテキストとステッカーに基づいて,ユーザに対して適切なステッカーを推奨する。
• 参考スコア（独自算出の注目度）: 67.91114640314004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stickers with vivid and engaging expressions are becoming increasingly popular in online messaging apps, and some works are dedicated to automatically select sticker response by matching the stickers image with previous utterances. However, existing methods usually focus on measuring the matching degree between the dialog context and sticker image, which ignores the user preference of using stickers. Hence, in this paper, we propose to recommend an appropriate sticker to user based on multi-turn dialog context and sticker using history of user. Two main challenges are confronted in this task. One is to model the sticker preference of user based on the previous sticker selection history. Another challenge is to jointly fuse the user preference and the matching between dialog context and candidate sticker into final prediction making. To tackle these challenges, we propose a \emph{Preference Enhanced Sticker Response Selector} (PESRS) model. Specifically, PESRS first employs a convolutional based sticker image encoder and a self-attention based multi-turn dialog encoder to obtain the representation of stickers and utterances. Next, deep interaction network is proposed to conduct deep matching between the sticker and each utterance. Then, we model the user preference by using the recently selected stickers as input, and use a key-value memory network to store the preference representation. PESRS then learns the short-term and long-term dependency between all interaction results by a fusion network, and dynamically fuse the user preference representation into the final sticker selection prediction. Extensive experiments conducted on a large-scale real-world dialog dataset show that our model achieves the state-of-the-art performance for all commonly-used metrics. Experiments also verify the effectiveness of each component of PESRS.
• Abstract（参考訳）: オンラインメッセージングアプリでは、鮮やかで魅力的な表情のステッカーが人気を集めており、ステッカー画像と以前の発話をマッチさせることで、ステッカー応答を自動的に選択する作業もある。 しかし、既存の手法では、通常、ステッカーを使用するユーザの好みを無視したダイアログコンテキストとステッカーイメージの一致度を測定することに重点を置いている。 そこで本稿では,ユーザ履歴を用いたマルチターン対話コンテキストとステッカーに基づいて,ユーザに対して適切なステッカーを推奨する。 この課題には2つの大きな課題がある。 1つは、前のステッカー選択履歴に基づいてユーザのステッカー嗜好をモデル化することである。 もうひとつの課題は、ユーザの好みと、ダイアログコンテキストと候補ステッカーのマッチングを、最終予測作成に融合させることだ。 これらの課題に対処するため,我々は<emph{Preference Enhanced Sticker Response Selector} (PESRS) モデルを提案する。 具体的には、pesrはまず畳み込みベースのステッカー画像エンコーダとセルフアテンションベースのマルチターンダイアログエンコーダを使用して、ステッカーと発話の表現を得る。 次に、ステッカーと各発話間の深いマッチングを行うために、ディープインタラクションネットワークを提案する。 次に,最近選択したステッカーを入力としてユーザ嗜好をモデル化し,キー値メモリネットワークを用いて嗜好表現を格納する。 PESRSは、融合ネットワークによって全てのインタラクション結果間の短期的および長期的依存関係を学習し、ユーザの好み表現を最終ステッカー選択予測に動的に融合する。 大規模実世界のダイアログデータセットを用いて行った大規模な実験により、我々のモデルは、一般的に使用されるすべてのメトリクスに対して最先端のパフォーマンスを達成することを示す。 PESRSの各コンポーネントの有効性を検証する実験もある。

関連論文リスト

• Impact of Stickers on Multimodal Chat Sentiment Analysis and Intent Recognition: A New Task, Dataset and Baseline [4.375392069380812]
  マルチモーダルチャット知覚分析とステッカーを含むインテント認識(MSAIRS)というタスクを提案する。 いくつかの主流ソーシャルメディアプラットフォームから抽出された,中国のチャット記録とステッカーを含む新しいマルチモーダルデータセットを提案する。 データセットとコードは公開されます。
  論文  参考訳（メタデータ） (2024-05-14T08:42:49Z)
• Context-aware Session-based Recommendation with Graph Neural Networks [6.825493772727133]
  グラフニューラルネットワークを用いた新しいコンテキスト認識セッションベースレコメンデーションモデルであるCARESを提案する。 まず,マルチリレーショナル・クロスセッショングラフを構築し,アイテム内およびクロスセッション・アイテムレベルのコンテキストに応じてアイテムを接続する。 ユーザの興味の変動をエンコードするために、パーソナライズされたアイテム表現を設計する。
  論文  参考訳（メタデータ） (2023-10-14T14:29:52Z)
• Sticker820K: Empowering Interactive Retrieval with Stickers [34.67442172774095]
  我々は,820kの画像テキストペアからなる,大規模な中国のステッカーデータセットであるSticker820Kを提案する。 それぞれのステッカーには、説明、光学的文字、感情的ラベル、スタイル分類を含むリッチで高品質なテキストアノテーションがある。 テキスト・ツー・イメージ検索タスクでは、StickerCLIPがCLIPよりも優れていることが示され、平均リコールの66.0%が絶対的に向上した。
  論文  参考訳（メタデータ） (2023-06-12T05:06:53Z)
• Selecting Stickers in Open-Domain Dialogue through Multitask Learning [51.67855506570727]
  本稿では,3つの補助課題からなるマルチタスク学習手法を提案する。 我々のモデルは多モード情報をうまく組み合わせて、強いベースラインよりもはるかに高い精度が得られる。
  論文  参考訳（メタデータ） (2022-09-16T03:45:22Z)
• User-Centric Conversational Recommendation with Multi-Aspect User Modeling [47.310579802092384]
  CRSタスクにおけるユーザの嗜好学習の本質に回帰するユーザ中心会話推薦(UCCR)モデルを提案する。 複数視点の選好マッパーを用いて,現在および歴史的セッションにおける異なる視点の内在的相関を学習する。 学習したマルチアスペクトのマルチビューユーザ嗜好は、レコメンデーションと対話生成に使用される。
  論文  参考訳（メタデータ） (2022-04-20T07:08:46Z)
• Knowledge-Enhanced Hierarchical Graph Transformer Network for Multi-Behavior Recommendation [56.12499090935242]
  本研究では,ユーザとレコメンデータシステムにおける項目間の多種類の対話パターンを探索する知識強化階層型グラフトランスフォーマネットワーク(KHGT)を提案する。 KHGTはグラフ構造化ニューラルネットワーク上に構築され、タイプ固有の振る舞い特性をキャプチャする。 KHGTは、様々な評価設定において、最先端のレコメンデーション手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-08T09:44:00Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• Learning to Respond with Stickers: A Framework of Unifying Multi-Modality in Multi-Turn Dialog [65.7021675527543]
  鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプのテキストラベルと以前の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 我々は,外部ラベルを使わずに,マルチターン・ダイアログのコンテキスト履歴に基づいた適切なステッカーをユーザに提案する。
  論文  参考訳（メタデータ） (2020-03-10T13:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。