論文の概要: Semantics Preserving Emoji Recommendation with Large Language Models
- arxiv url: http://arxiv.org/abs/2409.10760v1
- Date: Mon, 16 Sep 2024 22:27:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 18:30:27.631482
- Title: Semantics Preserving Emoji Recommendation with Large Language Models
- Title(参考訳): 大規模言語モデルを用いた絵文字レコメンデーションのセマンティクス
- Authors: Zhongyi Qiu, Kangyi Qiu, Hanjia Lyu, Wei Xiong, Jiebo Luo,
- Abstract要約: 既存の絵文字レコメンデーションメソッドは、ユーザーが元のテキストで選択した正確な絵文字にマッチする能力に基づいて、主に評価される。
本稿では,ユーザのテキストとのセマンティックな整合性を維持する絵文字を推薦するモデルの能力を計測する,絵文字推薦のための新しいセマンティックス保存フレームワークを提案する。
- 参考スコア(独自算出の注目度): 47.94761630160614
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emojis have become an integral part of digital communication, enriching text by conveying emotions, tone, and intent. Existing emoji recommendation methods are primarily evaluated based on their ability to match the exact emoji a user chooses in the original text. However, they ignore the essence of users' behavior on social media in that each text can correspond to multiple reasonable emojis. To better assess a model's ability to align with such real-world emoji usage, we propose a new semantics preserving evaluation framework for emoji recommendation, which measures a model's ability to recommend emojis that maintain the semantic consistency with the user's text. To evaluate how well a model preserves semantics, we assess whether the predicted affective state, demographic profile, and attitudinal stance of the user remain unchanged. If these attributes are preserved, we consider the recommended emojis to have maintained the original semantics. The advanced abilities of Large Language Models (LLMs) in understanding and generating nuanced, contextually relevant output make them well-suited for handling the complexities of semantics preserving emoji recommendation. To this end, we construct a comprehensive benchmark to systematically assess the performance of six proprietary and open-source LLMs using different prompting techniques on our task. Our experiments demonstrate that GPT-4o outperforms other LLMs, achieving a semantics preservation score of 79.23%. Additionally, we conduct case studies to analyze model biases in downstream classification tasks and evaluate the diversity of the recommended emojis.
- Abstract(参考訳): 絵文字はデジタルコミュニケーションの不可欠な部分となり、感情、トーン、意図を伝えることによってテキストを豊かにする。
既存の絵文字レコメンデーションメソッドは、ユーザーが元のテキストで選択した正確な絵文字にマッチする能力に基づいて、主に評価される。
しかし、各テキストが複数の合理的な絵文字に対応できるという点で、ソーシャルメディア上でのユーザの行動の本質を無視する。
このような実世界の絵文字利用と整合するモデルの能力をよりよく評価するために,ユーザのテキストとのセマンティック一貫性を維持する絵文字を推薦するモデルの能力を計測する,絵文字推薦のためのセマンティックス保存評価フレームワークを提案する。
モデルがセマンティクスをいかに保存するかを評価するため、予測された感情状態、人口統計、ユーザの姿勢が変化しないかどうかを評価する。
これらの属性が保存されている場合、推奨絵文字は元のセマンティクスを維持していたと考えられる。
大言語モデル(LLM)の、曖昧で文脈に関連のある出力の理解と生成における高度な能力は、絵文字の推奨を保存する意味論の複雑さを扱うのに適している。
そこで本研究では,異なるプロンプト技術を用いて,6つのプロプライエタリかつオープンソースのLCMの性能を体系的に評価するための総合的なベンチマークを構築した。
実験の結果, GPT-4o は他の LLM よりも優れており, 意味保存スコアは79.23% であることがわかった。
さらに、下流分類タスクにおけるモデルバイアスを分析し、推奨絵文字の多様性を評価するケーススタディを実施している。
関連論文リスト
- Unleashing the Power of Emojis in Texts via Self-supervised Graph Pre-Training [22.452853652070413]
ソーシャルメディアデータマイニングにおける絵文字のパワーを解放します。
テキストと絵文字の共モデリングのためのグラフ事前学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-22T18:29:10Z) - Human vs. LMMs: Exploring the Discrepancy in Emoji Interpretation and Usage in Digital Communication [68.40865217231695]
本研究は,ヒト型絵文字の複製におけるGPT-4Vの挙動について検討した。
この結果は、人間の解釈の主観的な性質から、人間とGPT-4Vの行動に明確な相違があることを示唆している。
論文 参考訳(メタデータ) (2024-01-16T08:56:52Z) - EmojiLM: Modeling the New Emoji Language [44.23076273155259]
我々は,大規模言語モデルからテキスト絵文字並列コーパスであるText2Emojiを開発した。
並列コーパスに基づいて,テキスト・絵文字双方向翻訳に特化したシーケンス・ツー・シーケンス・モデルである絵文字LMを蒸留する。
提案モデルでは,強いベースラインを上回り,平行コーパスは絵文字関連下流タスクに有効である。
論文 参考訳(メタデータ) (2023-11-03T07:06:51Z) - Emoji Prediction in Tweets using BERT [0.0]
本稿では,広く使われている事前学習型言語モデルであるBERTを用いた絵文字予測のためのトランスフォーマーに基づく手法を提案する。
我々はBERTをテキストと絵文字の両方を含む大量のテキスト(つぶやき)のコーパスで微調整し、与えられたテキストに対して最も適切な絵文字を予測する。
実験の結果,提案手法は,75%以上の精度で絵文字の予測において,最先端のモデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-07-05T06:38:52Z) - COFFEE: Counterfactual Fairness for Personalized Text Generation in
Explainable Recommendation [56.520470678876656]
ユーザ記述テキストに固有のバイアスは、言語品質の異なるレベルとユーザの保護された属性を関連付けることができる。
説明生成における測度特異的な対実的公正性を実現するための一般的な枠組みを提案する。
論文 参考訳(メタデータ) (2022-10-14T02:29:10Z) - Emojich -- zero-shot emoji generation using Russian language: a
technical report [52.77024349608834]
エモジッチ(Emojich)は、ロシア語の字幕を条件として絵文字を生成するテキスト・画像ニューラルネットワークである。
我々は,事前訓練された大型モデルruDALL-E Malevich(XL) 1.3Bパラメータの微調整段階における一般化能力を維持することを目的としている。
論文 参考訳(メタデータ) (2021-12-04T23:37:32Z) - Semantic Journeys: Quantifying Change in Emoji Meaning from 2012-2018 [66.28665205489845]
絵文字のセマンティクスが時間とともにどのように変化するかに関する最初の縦断的研究を行い、計算言語学から6年間のtwitterデータに適用した。
絵文字のセマンティックな発達において5つのパターンを識別し、抽象的な絵文字がより少ないほど意味的変化を起こす可能性が高くなることを示す。
絵文字とセマンティクスに関する今後の作業を支援するために、私たちは、絵文字のセマンティックな変化を調べるために誰でも使用できるウェブベースのインターフェイスとともに、データを公開します。
論文 参考訳(メタデータ) (2021-05-03T13:35:10Z) - Emoji Prediction: Extensions and Benchmarking [30.642840676899734]
絵文字予測タスクは、テキストに関連付けられた適切な絵文字セットを予測することを目的としている。
我々は、絵文字予測タスクの既存の設定を拡張し、よりリッチな絵文字セットを含め、複数ラベルの分類を可能にする。
トランスフォーマーネットワークに基づくマルチクラス・マルチラベル絵文字予測のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-07-14T22:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。