論文の概要: Meaning in Order, Order in Meaning: Semantic R-precision for Keyphrase Evaluation

• arxiv url: http://arxiv.org/abs/2606.07057v1
• Date: Fri, 05 Jun 2026 08:58:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.651743
• Title: Meaning in Order, Order in Meaning: Semantic R-precision for Keyphrase Evaluation
• Title（参考訳）: 意味の順序と順序:キーフレーズ評価のための意味的R精度
• Authors: Shamira Venturini, Steffen Kinkel,
• Abstract要約: セマンティックR-精度(Semantic R-Precision, SemR-p)は, セマンティックR-Precisionフレームワークに意味的類似性を統合する新しい評価指標である。 我々は,そのセマンティック・セマンティクス・セマンティクス・セマンティクス・セマンティクス・セマンティクス(セマンティクス・セマンティクス)・セマンティクス・セマンティクス(セマンティクス・セマンティクス)・セマンティクス・セマンティクス(セマンティクス・セマンティクス)・セマンティクス・セマンティクス(セマンティクス・セマンティクス・セマンティクス・セマンティクス・セマンティクス)の評価と,モデル・データセット間の識別能力の評価を行った。 以上の結果から,SemR-pはキーフレーズの予測を補完するレンズを提供し,従来の語彙や意味的マッチングの指標と並行して,ユーザ中心の関連性の概念をよりよく反映する可能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating the quality of automatically generated keyphrases remains a complex challenge. Traditional metrics either rely on exact lexical matching or consider semantic similarity while ignoring prediction ranking, both of which misalign with how humans judge informativeness and relevance. We introduce Semantic R-Precision (SemR-p), a novel evaluation metric that integrates semantic similarity into the rank-aware R-Precision framework. Designed from a human-centric perspective and inspired by Information Retrieval metrics, SemR-p rewards semantically relevant keyphrases that appear early in the output list. We conducted extensive analyses to assess its semantic sensitivity, ranking awareness, and discriminative power across models and datasets. The results suggest that SemR-p offers a complementary lens for evaluating keyphrase predictions, helping to better reflect user-centred notions of relevance alongside traditional lexical and semantic matching metrics.
• Abstract（参考訳）: 自動生成されたキーフレーズの品質を評価することは、依然として複雑な課題である。 従来のメトリクスは正確な語彙マッチングに依存するか、予測ランキングを無視しながら意味的類似性を考慮する。 セマンティックR-精度(Semantic R-Precision, SemR-p)は, セマンティックR-Precisionフレームワークに意味的類似性を統合する新しい評価指標である。 人中心の観点から設計され、Information RetrievalメトリクスにインスパイアされたSemR-pは、出力リストの初期に現れる意味的に関連するキーフレーズに報酬を与える。 我々は,そのセマンティック・セマンティクス・セマンティクス・セマンティクス・セマンティクス・セマンティクス(セマンティクス・セマンティクス)・セマンティクス・セマンティクス(セマンティクス・セマンティクス)・セマンティクス・セマンティクス(セマンティクス・セマンティクス)・セマンティクス・セマンティクス(セマンティクス・セマンティクス・セマンティクス・セマンティクス・セマンティクス)の評価と,モデル・データセット間の識別能力の評価を行った。 以上の結果から,SemR-pはキーフレーズの予測を補完するレンズを提供し,従来の語彙や意味的マッチングの指標と並行して,ユーザ中心の関連性の概念をよりよく反映する可能性が示唆された。

関連論文リスト

• SHOE: Semantic HOI Open-Vocabulary Evaluation Metric [28.578980275126707]
  新しい評価フレームワークであるSHOE(Semantic HOI Open-Vocabulary Evaluation)を紹介する。 SHOEは予測されたHOIラベルと接地したHOIラベルのセマンティックな類似性を取り入れている。 その結果、SHOEスコアは既存の指標よりも人間の判断と密接に一致していることがわかった。
  論文  参考訳（メタデータ） (2026-04-02T03:53:39Z)
• Simulating Meaning, Nevermore! Introducing ICR: A Semiotic-Hermeneutic Metric for Evaluating Meaning in LLM Text Summaries [13.104408059072457]
  本稿では,大言語モデル(LLM)生成言語における意味を研究するための学際的枠組みを提案する。 本稿では,言語記号が静的および文脈的埋め込みモデルにおいて,ベクトル化表現にどのように変換されるかを検討する。 次に、LCM出力における意味的精度と意味的アライメントを評価するために設計されたICR(Inductive Conceptual Rating)メトリクスを紹介する。
  論文  参考訳（メタデータ） (2026-02-03T18:05:09Z)
• AQAScore: Evaluating Semantic Alignment in Text-to-Audio Generation via Audio Question Answering [97.52852990265136]
  音声対応大規模言語モデルの推論機能を活用するバックボーン非依存評価フレームワークであるAQAScoreを紹介する。 AQAScoreは人格関連性、ペア比較、構成推論タスクを含む複数のベンチマークで評価する。
  論文  参考訳（メタデータ） (2026-01-21T07:35:36Z)
• SMILE: A Composite Lexical-Semantic Metric for Question-Answering Evaluation [55.26111461168754]
  本稿では,文レベルの意味理解とキーワードレベルの意味理解と簡単なキーワードマッチングを組み合わせた新しいアプローチであるSemantic Metric Integrating Lexical Exactnessを紹介する。 人間の判断と計算学的に軽量であり、語彙的評価と意味的評価のギャップを埋める。
  論文  参考訳（メタデータ） (2025-11-21T17:30:18Z)
• Estimating Text Similarity based on Semantic Concept Embeddings [0.8702432681310399]
  本稿では,マルチネット・セマンティック・ネットワーク(SN)形式に基づくセマンティック・コンセプト・エンベディング(CE)を提案する。 マーケティング対象グループ配布タスクの評価の結果,従来の単語埋め込みと意味CEを組み合わせることで,予測対象グループの精度を向上できることがわかった。
  論文  参考訳（メタデータ） (2024-01-09T08:29:46Z)
• KPEval: Towards Fine-Grained Semantic-Based Keyphrase Evaluation [69.57018875757622]
  KPEvalは、参照合意、忠実性、多様性、有用性という4つの重要な側面からなる総合的な評価フレームワークである。 KPEvalを用いて、23のキーフレーズシステムを再評価し、確立されたモデル比較結果に盲点があることを発見した。
  論文  参考訳（メタデータ） (2023-03-27T17:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。