論文の概要: #REVAL: a semantic evaluation framework for hashtag recommendation
- arxiv url: http://arxiv.org/abs/2305.18330v1
- Date: Wed, 24 May 2023 07:10:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-04 11:20:37.834313
- Title: #REVAL: a semantic evaluation framework for hashtag recommendation
- Title(参考訳): #reval:ハッシュタグ推薦のための意味評価フレームワーク
- Authors: Areej Alsini, Du Q. Huynh and Amitava Datta
- Abstract要約: 本稿では,ハッシュタグレコメンデーションのための新しいセマンティックアセスメントフレームワーク#REvalを提案する。
#REvalにはBERTagと呼ばれる内部モジュールが含まれており、自動的にハッシュタグの埋め込みを学習する。
大規模な3つのデータセットを用いた実験の結果,#Revalはハッシュタグ推薦評価に有意義なハッシュタグシノニムを付与した。
- 参考スコア(独自算出の注目度): 6.746400031322727
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic evaluation of hashtag recommendation models is a fundamental task
in many online social network systems. In the traditional evaluation method,
the recommended hashtags from an algorithm are firstly compared with the ground
truth hashtags for exact correspondences. The number of exact matches is then
used to calculate the hit rate, hit ratio, precision, recall, or F1-score. This
way of evaluating hashtag similarities is inadequate as it ignores the semantic
correlation between the recommended and ground truth hashtags. To tackle this
problem, we propose a novel semantic evaluation framework for hashtag
recommendation, called #REval. This framework includes an internal module
referred to as BERTag, which automatically learns the hashtag embeddings. We
investigate on how the #REval framework performs under different word embedding
methods and different numbers of synonyms and hashtags in the recommendation
using our proposed #REval-hit-ratio measure. Our experiments of the proposed
framework on three large datasets show that #REval gave more meaningful hashtag
synonyms for hashtag recommendation evaluation. Our analysis also highlights
the sensitivity of the framework to the word embedding technique, with #REval
based on BERTag more superior over #REval based on FastText and Word2Vec.
- Abstract(参考訳): 多くのオンラインソーシャルネットワークシステムにおいて,ハッシュタグ推薦モデルの自動評価が基本課題である。
従来の評価手法では、アルゴリズムから推奨されるハッシュタグを、正確な対応のための基底真理ハッシュタグと比較する。
正確なマッチの数は、ヒット率、ヒット率、精度、リコール、F1スコアを計算するために使用される。
このハッシュタグ類似性の評価方法は、推奨された真理ハッシュタグと基本真理ハッシュタグの間の意味的相関を無視しているため、不十分である。
この問題に対処するために,ハッシュタグ推薦のための新しい意味評価フレームワーク#revalを提案する。
このフレームワークにはBERTagと呼ばれる内部モジュールが含まれており、自動的にハッシュタグの埋め込みを学習する。
提案した#REval-hit-ratio 尺度を用いて,#REval フレームワークが,異なる単語埋め込み手法と異なる数の同義語やハッシュタグの下でどのように機能するかを検討する。
提案手法を3つの大規模データセット上で実験した結果,#Revalはハッシュタグ推薦評価に有意義なハッシュタグ同義語を与えた。
BERTagをベースとした#REvalは、FastTextとWord2Vecをベースとした#REvalよりも優れている。
関連論文リスト
- RIGHT: Retrieval-augmented Generation for Mainstream Hashtag
Recommendation [76.24205422163169]
我々はRIGHT(RetrIeval-augmented Generative Mainstream HashTag Recommender)を提案する。
RIGHTは3つのコンポーネントから構成される: 1) 検索者は、ツイートハッシュタグセット全体から関連するハッシュタグを検索する; 2) セレクタは、グローバル信号を導入して、メインストリームの識別を強化する; 3) ジェネレータは入力されたつぶやきと選択されたハッシュタグを組み込んで、目的のハッシュタグを直接生成する。
さらに,RIGHTを大規模言語モデルに統合することで,ChatGPTの性能を10%以上向上させることができる。
論文 参考訳(メタデータ) (2023-12-16T14:47:03Z) - SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation [72.10931780019297]
既存の透かしアルゴリズムはトークンレベルの設計のため、パラフレーズ攻撃に弱い。
局所性に敏感なハッシュ(LSH)に基づく頑健な文レベルのセマンティック透かしアルゴリズムSemStampを提案する。
実験結果から,本アルゴリズムは従来手法に比べて,従来手法よりも頑健であるだけでなく,生成品質の維持にも有効であることが示唆された。
論文 参考訳(メタデータ) (2023-10-06T03:33:42Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳(メタデータ) (2023-03-23T12:39:20Z) - Hashtag-Guided Low-Resource Tweet Classification [31.810562621519804]
ハッシュタグ誘導型つぶやき分類モデル(HashTation)を提案する。
HashTationは、入力ツイートの有意義なハッシュタグを自動的に生成し、ツイート分類に有用な補助信号を提供する。
実験によると、HashTationは7つの低リソースのつぶやき分類タスクで大幅に改善されている。
論文 参考訳(メタデータ) (2023-02-20T18:21:02Z) - HashSet -- A Dataset For Hashtag Segmentation [19.016545782774003]
モデルパフォーマンスは、より広範囲のハッシュタグで評価されるべきである、と我々は主張する。
我々は、a) 1.9kのマニュアルアノテーション付きデータセット、b) 3.3Mの緩やかな教師付きデータセットからなるデータセットであるHashSetを提案する。
HashtagのSOTAモデルの性能は,提案したデータセット上で大幅に低下することを示す。
論文 参考訳(メタデータ) (2022-01-18T04:40:45Z) - Semantic-Preserving Adversarial Text Attacks [85.32186121859321]
深層モデルの脆弱性を調べるために, Bigram と Unigram を用いた適応的セマンティック保存最適化法 (BU-SPO) を提案する。
提案手法は,既存手法と比較して最小の単語数を変更することで,攻撃成功率とセマンティックス率を最大化する。
論文 参考訳(メタデータ) (2021-08-23T09:05:18Z) - Attend and Select: A Segment Attention based Selection Mechanism for
Microblog Hashtag Generation [69.73215951112452]
ハッシュタグは、原文の様々な断片的な部分に由来する可能性のあるトークンまたはフレーズによって形成される。
本稿では,エンコーディング,セグメント選択,デコードという3つのフェーズからなるエンドツーエンドのトランスフォーマーベース生成モデルを提案する。
中国語のWeiboと英語のTwitterから新たに収集した2つの大規模ハッシュタグ生成データセットを紹介する。
論文 参考訳(メタデータ) (2021-06-06T15:13:58Z) - Text-to-hashtag Generation using Seq2seq Learning [0.0]
BiLSTMとBERTをベースとしたモデルがブラジルのポルタグスでハッシュタグを生成できるかどうかを検討した。
入力として商品のレビューとタイトルのコーパスを処理し、出力としてハッシュタグを生成しました。
論文 参考訳(メタデータ) (2021-02-01T15:28:27Z) - Hit ratio: An Evaluation Metric for Hashtag Recommendation [6.746400031322727]
我々はハッシュタグ推薦のためのヒット比と呼ばれる新しい指標を提案する。
ハッシュタグレコメンデーションの分野での研究の多くは、ヒット率、精度、リコール、F1スコアといった古典的な指標を使用してきた。
ヒット率と古典的評価指標を比較すると,その限界が明らかになる。
論文 参考訳(メタデータ) (2020-10-03T02:07:41Z) - On Identifying Hashtags in Disaster Twitter Data [55.17975121160699]
我々は,行動可能な情報をフィルタリングするのに有用なハッシュタグを付加した災害関連ツイートのユニークなデータセットを構築した。
このデータセットを用いて,マルチタスク学習フレームワークにおける長期記憶モデルについて検討する。
最高のパフォーマンスモデルでは、F1スコアは92.22%に達する。
論文 参考訳(メタデータ) (2020-01-05T22:37:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。