論文の概要: Learning to Respond with Stickers: A Framework of Unifying Multi-Modality in Multi-Turn Dialog

• arxiv url: http://arxiv.org/abs/2003.04679v1
• Date: Tue, 10 Mar 2020 13:10:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 20:45:11.966929
• Title: Learning to Respond with Stickers: A Framework of Unifying Multi-Modality in Multi-Turn Dialog
• Title（参考訳）: ステッカーで応答する学習:マルチターンダイアログにおけるマルチモーダルの統合フレームワーク
• Authors: Shen Gao, Xiuying Chen, Chang Liu, Li Liu, Dongyan Zhao and Rui Yan
• Abstract要約: 鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプのテキストラベルと以前の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 我々は,外部ラベルを使わずに,マルチターン・ダイアログのコンテキスト履歴に基づいた適切なステッカーをユーザに提案する。
• 参考スコア（独自算出の注目度）: 65.7021675527543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stickers with vivid and engaging expressions are becoming increasingly popular in online messaging apps, and some works are dedicated to automatically select sticker response by matching text labels of stickers with previous utterances. However, due to their large quantities, it is impractical to require text labels for the all stickers. Hence, in this paper, we propose to recommend an appropriate sticker to user based on multi-turn dialog context history without any external labels. Two main challenges are confronted in this task. One is to learn semantic meaning of stickers without corresponding text labels. Another challenge is to jointly model the candidate sticker with the multi-turn dialog context. To tackle these challenges, we propose a sticker response selector (SRS) model. Specifically, SRS first employs a convolutional based sticker image encoder and a self-attention based multi-turn dialog encoder to obtain the representation of stickers and utterances. Next, deep interaction network is proposed to conduct deep matching between the sticker with each utterance in the dialog history. SRS then learns the short-term and long-term dependency between all interaction results by a fusion network to output the the final matching score. To evaluate our proposed method, we collect a large-scale real-world dialog dataset with stickers from one of the most popular online chatting platform. Extensive experiments conducted on this dataset show that our model achieves the state-of-the-art performance for all commonly-used metrics. Experiments also verify the effectiveness of each component of SRS. To facilitate further research in sticker selection field, we release this dataset of 340K multi-turn dialog and sticker pairs.
• Abstract（参考訳）: オンラインメッセージングアプリでは、鮮やかで魅力的な表情のステッカーが人気を集めており、ステッカーのテキストラベルと以前の発話をマッチさせることで、ステッカー応答を自動的に選択する作業もある。 しかし、その量が多いため、すべてのステッカーにテキストラベルを必要とするのは現実的ではない。 そこで本稿では,外部ラベルを使わずに,複数ターンのダイアログコンテキスト履歴に基づいて適切なステッカーをユーザに推奨する。 この課題には2つの大きな課題がある。 1つは、対応するテキストラベルなしでステッカーの意味を学ぶことである。 もう一つの課題は、マルチターンダイアログコンテキストで候補ステッカーを共同でモデル化することである。 これらの課題に対処するために、ステッカー応答セレクタ(SRS)モデルを提案する。 具体的には、まず、畳み込みベースのステッカー画像エンコーダとセルフアテンションベースのマルチターンダイアログエンコーダを使用して、ステッカーと発話の表現を得る。 次に,対話履歴内の各発話とステッカー間の深いマッチングを行うために,ディープインタラクションネットワークを提案する。 次にsrsは、フュージョンネットワークによってすべてのインタラクション結果間の短期的および長期的な依存関係を学び、最終マッチングスコアを出力する。 提案手法を評価するために,最も人気のあるオンラインチャットプラットフォームの1つであるステッカーを用いた大規模実世界のダイアログデータセットを収集した。 このデータセットで行った大規模な実験により、我々のモデルは、一般的に使用されるすべてのメトリクスに対して最先端のパフォーマンスを達成することが示された。 実験はまた、SRSの各コンポーネントの有効性を検証する。 ステッカー選択フィールドのさらなる研究を容易にするため,このデータセットを340Kマルチターンダイアログとステッカーペアでリリースする。

関連論文リスト

• PerSRV: Personalized Sticker Retrieval with Vision-Language Model [21.279568613306573]
  本稿では,Personalized Sticker Retrieval with Vision-Language Model framework,すなわちPerSRVを提案する。 ステッカーレベルのセマンティック理解のために, 微調整したLLaVA-1.5-7Bを用いて人間のようなステッカーセマンティクスを生成する。 第3に、ユーザの過去のインタラクションに基づいて、スタイルセントロイドをクラスタリングし、個人の嗜好モデリングを実現する。
  論文  参考訳（メタデータ） (2024-10-29T07:13:47Z)
• Impact of Stickers on Multimodal Chat Sentiment Analysis and Intent Recognition: A New Task, Dataset and Baseline [4.375392069380812]
  マルチモーダルチャット知覚分析とステッカーを含むインテント認識(MSAIRS)というタスクを提案する。 いくつかの主流ソーシャルメディアプラットフォームから抽出された,中国のチャット記録とステッカーを含む新しいマルチモーダルデータセットを提案する。 データセットとコードは公開されます。
  論文  参考訳（メタデータ） (2024-05-14T08:42:49Z)
• Sticker820K: Empowering Interactive Retrieval with Stickers [34.67442172774095]
  我々は,820kの画像テキストペアからなる,大規模な中国のステッカーデータセットであるSticker820Kを提案する。 それぞれのステッカーには、説明、光学的文字、感情的ラベル、スタイル分類を含むリッチで高品質なテキストアノテーションがある。 テキスト・ツー・イメージ検索タスクでは、StickerCLIPがCLIPよりも優れていることが示され、平均リコールの66.0%が絶対的に向上した。
  論文  参考訳（メタデータ） (2023-06-12T05:06:53Z)
• Selecting Stickers in Open-Domain Dialogue through Multitask Learning [51.67855506570727]
  本稿では,3つの補助課題からなるマルチタスク学習手法を提案する。 我々のモデルは多モード情報をうまく組み合わせて、強いベースラインよりもはるかに高い精度が得られる。
  論文  参考訳（メタデータ） (2022-09-16T03:45:22Z)
• SPACE-2: Tree-Structured Semi-Supervised Contrastive Pre-training for Task-Oriented Dialog Understanding [68.94808536012371]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから対話表現を学習する,木構造付き事前学習会話モデルを提案する。 提案手法は,7つのデータセットと4つの一般的な対話理解タスクからなるDialoGLUEベンチマークにおいて,最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-09-14T13:42:50Z)
• Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots [62.295373408415365]
  本稿では,コンテキスト応答マッチングのためのパーソナライズドハイブリッドマッチングネットワーク(phmn)を提案する。 1) ユーザ固有の対話履歴からパーソナライズされた発話行動を付加的なマッチング情報として抽出する。 ユーザ識別による2つの大規模データセット,すなわちパーソナライズされた対話 Corpus Ubuntu (P-Ubuntu) とパーソナライズされたWeiboデータセット (P-Weibo) のモデルを評価する。
  論文  参考訳（メタデータ） (2021-03-17T09:42:11Z)
• Reasoning in Dialog: Improving Response Generation by Context Reading Comprehension [49.92173751203827]
  マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。 読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
  論文  参考訳（メタデータ） (2020-12-14T10:58:01Z)
• Learning to Respond with Your Favorite Stickers: A Framework of Unifying Multi-Modality and User Preference in Multi-Turn Dialog [67.91114640314004]
  鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプイメージと過去の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 ユーザ履歴を用いたマルチターン・ダイアログ・コンテキストとステッカーに基づいて,ユーザに対して適切なステッカーを推奨する。
  論文  参考訳（メタデータ） (2020-11-05T03:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。