論文の概要: PerSRV: Personalized Sticker Retrieval with Vision-Language Model

• arxiv url: http://arxiv.org/abs/2410.21801v1
• Date: Tue, 29 Oct 2024 07:13:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 11:30:25.153236
• Title: PerSRV: Personalized Sticker Retrieval with Vision-Language Model
• Title（参考訳）: PerSRV:ビジョンランゲージモデルを用いたパーソナライズされたステッカー検索
• Authors: Heng Er Metilda Chee, Jiayin Wang, Zhiqiang Guo, Weizhi Ma, Min Zhang,
• Abstract要約: 本稿では,Personalized Sticker Retrieval with Vision-Language Model framework,すなわちPerSRVを提案する。 ステッカーレベルのセマンティック理解のために, 微調整したLLaVA-1.5-7Bを用いて人間のようなステッカーセマンティクスを生成する。 第3に、ユーザの過去のインタラクションに基づいて、スタイルセントロイドをクラスタリングし、個人の嗜好モデリングを実現する。
• 参考スコア（独自算出の注目度）: 21.279568613306573
• License:
• Abstract: Instant Messaging is a popular means for daily communication, allowing users to send text and stickers. As the saying goes, "a picture is worth a thousand words", so developing an effective sticker retrieval technique is crucial for enhancing user experience. However, existing sticker retrieval methods rely on labeled data to interpret stickers, and general-purpose Vision-Language Models (VLMs) often struggle to capture the unique semantics of stickers. Additionally, relevant-based sticker retrieval methods lack personalization, creating a gap between diverse user expectations and retrieval results. To address these, we propose the Personalized Sticker Retrieval with Vision-Language Model framework, namely PerSRV, structured into offline calculations and online processing modules. The online retrieval part follows the paradigm of relevant recall and personalized ranking, supported by the offline pre-calculation parts, which are sticker semantic understanding, utility evaluation and personalization modules. Firstly, for sticker-level semantic understanding, we supervised fine-tuned LLaVA-1.5-7B to generate human-like sticker semantics, complemented by textual content extracted from figures and historical interaction queries. Secondly, we investigate three crowd-sourcing metrics for sticker utility evaluation. Thirdly, we cluster style centroids based on users' historical interactions to achieve personal preference modeling. Finally, we evaluate our proposed PerSRV method on a public sticker retrieval dataset from WeChat, containing 543,098 candidates and 12,568 interactions. Experimental results show that PerSRV significantly outperforms existing methods in multi-modal sticker retrieval. Additionally, our fine-tuned VLM delivers notable improvements in sticker semantic understandings.
• Abstract（参考訳）: Instant Messagingは日々のコミュニケーションに人気があり、ユーザーはテキストやステッカーを送れる。 そこで, ユーザエクスペリエンス向上のためには, 効果的なステッカー検索手法の開発が不可欠である。 しかし、既存のステッカー検索手法はステッカーを解釈するためにラベル付きデータに依存しており、汎用視覚言語モデル(VLM)はステッカーのユニークな意味を捉えるのに苦労することが多い。 さらに、関連するステッカー検索手法にはパーソナライズが欠如しており、多様なユーザ期待と検索結果のギャップが生じる。 そこで本稿では,Personalized Sticker Retrieval with Vision-Language Model framework,すなわちPerSRVを提案する。 オンライン検索部は、ステッカーセマンティック理解、ユーティリティ評価、パーソナライズモジュールであるオフラインの前計算部がサポートする、関連するリコールとパーソナライズされたランキングのパラダイムに従う。 まず、ステッカーレベルのセマンティック理解のために、図形から抽出したテキストの内容と過去のインタラクションクエリを補完する人間のようなセマンティックスを生成するための微調整LLaVA-1.5-7Bを監督した。 次に,ステッカー有効性評価のための3つのクラウドソーシング指標について検討する。 第3に、ユーザの過去のインタラクションに基づいて、スタイルセントロイドをクラスタリングし、個人の嗜好モデリングを実現する。 最後に,543,098の候補と12,568のインタラクションを含むWeChatの公開ステッカー検索データセットを用いて,提案手法の評価を行った。 実験の結果,PerSRVはマルチモーダルステッカー検索において既存の手法よりも優れていた。 さらに、細調整されたVLMはステッカーの意味理解を顕著に改善します。

関連論文リスト

• Impact of Stickers on Multimodal Chat Sentiment Analysis and Intent Recognition: A New Task, Dataset and Baseline [4.375392069380812]
  マルチモーダルチャット知覚分析とステッカーを含むインテント認識(MSAIRS)というタスクを提案する。 いくつかの主流ソーシャルメディアプラットフォームから抽出された,中国のチャット記録とステッカーを含む新しいマルチモーダルデータセットを提案する。 データセットとコードは公開されます。
  論文  参考訳（メタデータ） (2024-05-14T08:42:49Z)
• HuBERTopic: Enhancing Semantic Representation of HuBERT through Self-supervision Utilizing Topic Model [62.995175485416]
  本稿では,HuBERTのセマンティック表現を豊かにするための新しいアプローチを提案する。 トピックラベルを教師として使用することにより、HuBERTに補助的なトピック分類タスクを追加する。 実験の結果,本手法は,ほとんどのタスクにおいて,ベースラインと同等あるいは優れた性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-06T02:19:09Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Sticker820K: Empowering Interactive Retrieval with Stickers [34.67442172774095]
  我々は,820kの画像テキストペアからなる,大規模な中国のステッカーデータセットであるSticker820Kを提案する。 それぞれのステッカーには、説明、光学的文字、感情的ラベル、スタイル分類を含むリッチで高品質なテキストアノテーションがある。 テキスト・ツー・イメージ検索タスクでは、StickerCLIPがCLIPよりも優れていることが示され、平均リコールの66.0%が絶対的に向上した。
  論文  参考訳（メタデータ） (2023-06-12T05:06:53Z)
• Borrowing Human Senses: Comment-Aware Self-Training for Social Media Multimodal Classification [5.960550152906609]
  視覚的および言語的類似性を共同で活用することで,ユーザコメントからヒントを抽出する。 分類タスクは教師-学生のフレームワークにおける自己学習を通じて探索され、通常はラベル付きデータスケールに動機づけられる。 その結果,提案手法は従来の最先端モデルの性能をさらに向上させることが示された。
  論文  参考訳（メタデータ） (2023-03-27T08:59:55Z)
• Exploring Structured Semantic Prior for Multi Label Recognition with Incomplete Labels [60.675714333081466]
  不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。 最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。 我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
  論文  参考訳（メタデータ） (2023-03-23T12:39:20Z)
• Selecting Stickers in Open-Domain Dialogue through Multitask Learning [51.67855506570727]
  本稿では,3つの補助課題からなるマルチタスク学習手法を提案する。 我々のモデルは多モード情報をうまく組み合わせて、強いベースラインよりもはるかに高い精度が得られる。
  論文  参考訳（メタデータ） (2022-09-16T03:45:22Z)
• Learning to Respond with Your Favorite Stickers: A Framework of Unifying Multi-Modality and User Preference in Multi-Turn Dialog [67.91114640314004]
  鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプイメージと過去の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 ユーザ履歴を用いたマルチターン・ダイアログ・コンテキストとステッカーに基づいて,ユーザに対して適切なステッカーを推奨する。
  論文  参考訳（メタデータ） (2020-11-05T03:31:17Z)
• Learning to Respond with Stickers: A Framework of Unifying Multi-Modality in Multi-Turn Dialog [65.7021675527543]
  鮮明で魅力的な表現を持つスタンプは、オンラインメッセージングアプリでますます人気が高まっている。 スタンプのテキストラベルと以前の発話をマッチングすることで、スタンプ応答を自動的に選択する作業もある。 我々は,外部ラベルを使わずに,マルチターン・ダイアログのコンテキスト履歴に基づいた適切なステッカーをユーザに提案する。
  論文  参考訳（メタデータ） (2020-03-10T13:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。