論文の概要: Hit ratio: An Evaluation Metric for Hashtag Recommendation

• arxiv url: http://arxiv.org/abs/2010.01258v1
• Date: Sat, 3 Oct 2020 02:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 11:35:52.737916
• Title: Hit ratio: An Evaluation Metric for Hashtag Recommendation
• Title（参考訳）: hit ratio:ハッシュタグ推薦のための評価指標
• Authors: Areej Alsini, Du Q. Huynh, Amitava Datta
• Abstract要約: 我々はハッシュタグ推薦のためのヒット比と呼ばれる新しい指標を提案する。 ハッシュタグレコメンデーションの分野での研究の多くは、ヒット率、精度、リコール、F1スコアといった古典的な指標を使用してきた。 ヒット率と古典的評価指標を比較すると,その限界が明らかになる。
• 参考スコア（独自算出の注目度）: 6.746400031322727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hashtag recommendation is a crucial task, especially with an increase of interest in using social media platforms such as Twitter in the last decade. Hashtag recommendation systems automatically suggest hashtags to a user while writing a tweet. Most of the research in the area of hashtag recommendation have used classical metrics such as hit rate, precision, recall, and F1-score to measure the accuracy of hashtag recommendation systems. These metrics are based on the exact match of the recommended hashtags with their corresponding ground truth. However, it is not clear how adequate these metrics to evaluate hashtag recommendation. The research question that we are interested in seeking an answer is: are these metrics adequate for evaluating hashtag recommendation systems when the numbers of ground truth hashtags in tweets are highly variable? In this paper, we propose a new metric which we call hit ratio for hashtag recommendation. Extensive evaluation through hypothetical examples and real-world application across a range of hashtag recommendation models indicate that the hit ratio is a useful metric. A comparison of hit ratio with the classical evaluation metrics reveals their limitations.
• Abstract（参考訳）: ハッシュタグのレコメンデーションは重要なタスクであり、特に過去10年間にTwitterのようなソーシャルメディアプラットフォームを使うことへの関心が高まっている。 ハッシュタグレコメンデーションシステムは、ツイートを書きながら自動的にハッシュタグをユーザに提案する。 ハッシュタグレコメンデーション領域の研究の多くは、ハッシュタグレコメンデーションシステムの精度を測定するために、ヒットレート、精度、リコール、F1スコアといった古典的な指標を使用してきた。 これらの指標は、推奨ハッシュタグと対応する基底真理との正確な一致に基づいている。 しかし、これらの指標がハッシュタグのレコメンデーションを評価するのにどの程度適しているかは明らかではない。 これらの指標は、ツイート中の真実のハッシュタグの数が非常に変動している場合にハッシュタグレコメンデーションシステムを評価するのに十分なのか? 本稿では,ハッシュタグ推薦のためのヒット率と呼ばれる新しい指標を提案する。 一連のハッシュタグレコメンデーションモデルにおける仮説例と実世界の応用による広範囲な評価は、ヒット比が有用な指標であることを示している。 ヒット率と古典的評価指標を比較すると,その限界が明らかになる。

関連論文リスト

• RIGHT: Retrieval-augmented Generation for Mainstream Hashtag Recommendation [76.24205422163169]
  我々はRIGHT(RetrIeval-augmented Generative Mainstream HashTag Recommender)を提案する。 RIGHTは3つのコンポーネントから構成される: 1) 検索者は、ツイートハッシュタグセット全体から関連するハッシュタグを検索する; 2) セレクタは、グローバル信号を導入して、メインストリームの識別を強化する; 3) ジェネレータは入力されたつぶやきと選択されたハッシュタグを組み込んで、目的のハッシュタグを直接生成する。 さらに,RIGHTを大規模言語モデルに統合することで,ChatGPTの性能を10%以上向上させることができる。
  論文  参考訳（メタデータ） (2023-12-16T14:47:03Z)
• Analyzing Trendy Twitter Hashtags in the 2022 French Election [0.0]
  本稿では,機械学習タスクのユーザレベル機能としてセマンティックネットワークを利用する手法を提案する。 われわれは、2022年のフランス大統領選挙に関連する370万ツイートのコーパスから、Twitterのハッシュタグ1037のセマンティックネットワークを用いて実験を行った。 我々のセマンティック機能は回帰とよく似ており、ほとんどの感情は0.5以上のR2$を持つ。
  論文  参考訳（メタデータ） (2023-10-11T15:17:55Z)
• #REVAL: a semantic evaluation framework for hashtag recommendation [6.746400031322727]
  本稿では,ハッシュタグレコメンデーションのための新しいセマンティックアセスメントフレームワーク#REvalを提案する。 #REvalにはBERTagと呼ばれる内部モジュールが含まれており、自動的にハッシュタグの埋め込みを学習する。 大規模な3つのデータセットを用いた実験の結果,#Revalはハッシュタグ推薦評価に有意義なハッシュタグシノニムを付与した。
  論文  参考訳（メタデータ） (2023-05-24T07:10:56Z)
• Hashtag-Guided Low-Resource Tweet Classification [31.810562621519804]
  ハッシュタグ誘導型つぶやき分類モデル(HashTation)を提案する。 HashTationは、入力ツイートの有意義なハッシュタグを自動的に生成し、ツイート分類に有用な補助信号を提供する。 実験によると、HashTationは7つの低リソースのつぶやき分類タスクで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-02-20T18:21:02Z)
• Tag-Aware Document Representation for Research Paper Recommendation [68.8204255655161]
  本稿では,ユーザによって割り当てられたソーシャルタグに基づいて,研究論文の深い意味表現を活用するハイブリッドアプローチを提案する。 提案手法は,評価データが極めて少ない場合でも研究論文の推薦に有効である。
  論文  参考訳（メタデータ） (2022-09-08T09:13:07Z)
• Bidimensional Leaderboards: Generate and Evaluate Language Hand in Hand [117.62186420147563]
  リーダーボード, 二次元リーダーボード(ビルボード)の一般化を提案する。 従来の一次元のリーダーボードがシステムに所定の基準でソートするのとは異なり、ビルボードはジェネレータと評価指標の両方を競合するエントリとして受け入れる。 いくつかの異なるメトリクスの線形アンサンブルが、場合によっては既存のメトリクスを独立して大幅に上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-12-08T06:34:58Z)
• Attend and Select: A Segment Attention based Selection Mechanism for Microblog Hashtag Generation [69.73215951112452]
  ハッシュタグは、原文の様々な断片的な部分に由来する可能性のあるトークンまたはフレーズによって形成される。 本稿では,エンコーディング,セグメント選択,デコードという3つのフェーズからなるエンドツーエンドのトランスフォーマーベース生成モデルを提案する。 中国語のWeiboと英語のTwitterから新たに収集した2つの大規模ハッシュタグ生成データセットを紹介する。
  論文  参考訳（メタデータ） (2021-06-06T15:13:58Z)
• A Survey on Deep Hashing Methods [52.326472103233854]
  最寄りの検索は、データベースからクエリまでの距離が最小のサンプルを取得することを目的としている。 ディープラーニングの発展により、ディープハッシュ法は従来の方法よりも多くの利点を示す。 深い教師付きハッシュは、ペアワイズ法、ランキングベースの方法、ポイントワイズ法、量子化に分類される。 深い教師なしハッシュは、類似性再構築に基づく方法、擬似ラベルに基づく方法、予測自由な自己教師あり学習に基づく方法に分類される。
  論文  参考訳（メタデータ） (2020-03-04T08:25:15Z)
• On Identifying Hashtags in Disaster Twitter Data [55.17975121160699]
  我々は,行動可能な情報をフィルタリングするのに有用なハッシュタグを付加した災害関連ツイートのユニークなデータセットを構築した。 このデータセットを用いて,マルチタスク学習フレームワークにおける長期記憶モデルについて検討する。 最高のパフォーマンスモデルでは、F1スコアは92.22%に達する。
  論文  参考訳（メタデータ） (2020-01-05T22:37:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。