Fugu-MT 論文翻訳(概要): Semantic Search Evaluation

論文の概要: Semantic Search Evaluation

arxiv url: http://arxiv.org/abs/2410.21549v1
Date: Mon, 28 Oct 2024 21:25:38 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-30 13:40:02.096117
Title: Semantic Search Evaluation
Title（参考訳）: 意味探索評価
Authors: Chujie Zheng, Jeffrey Wang, Shuqian Albee Zhang, Anand Kishore, Siddharth Singh,
Abstract要約: 我々は、クエリに関連する結果の比率を測定するために、"オントピックレート"と呼ばれるメトリクスを導入します。私たちのセマンティック評価パイプラインは、関連する改善のためのメトリクスに対する共通の障害パターンと目標を特定するのに役立ちます。
参考スコア（独自算出の注目度）: 8.546876696225473
License:
Abstract: We propose a novel method for evaluating the performance of a content search system that measures the semantic match between a query and the results returned by the search system. We introduce a metric called "on-topic rate" to measure the percentage of results that are relevant to the query. To achieve this, we design a pipeline that defines a golden query set, retrieves the top K results for each query, and sends calls to GPT 3.5 with formulated prompts. Our semantic evaluation pipeline helps identify common failure patterns and goals against the metric for relevance improvements.
Abstract（参考訳）: 本稿では,検索システムから返されるクエリと結果とのセマンティックマッチングを計測するコンテンツ検索システムの性能評価手法を提案する。我々は、クエリに関連する結果の比率を測定するために、"オントピックレート"と呼ばれるメトリクスを導入します。そこで我々は,ゴールデンクエリセットを定義したパイプラインを設計し,各クエリの上位Kを検索し,形式化されたプロンプトでGPT 3.5に呼び出しを行う。私たちのセマンティック評価パイプラインは、関連する改善のためのメトリクスに対する共通の障害パターンと目標を特定するのに役立ちます。

関連論文リスト

Meta-prompting Optimized Retrieval-augmented Generation [1.3996171129586734]
下流タスクにおける大規模言語モデルの性能を活かすため、検索拡張世代は外部ソースから取得したコンテンツに頼っている。本稿では,メタプロンプト最適化を利用して,検索したコンテンツをプロンプトに含める前に洗練する手法を提案する。
論文参考訳（メタデータ） (2024-07-04T14:20:12Z)
Dense X Retrieval: What Retrieval Granularity Should We Use? [56.90827473115201]
しばしば見過ごされる設計選択は、コーパスが索引付けされる検索単位である。本稿では,高密度検索のための新しい検索ユニット,命題を提案する。実験により、提案のような細粒度単位によるコーパスのインデックス付けは、検索タスクにおける通過レベル単位を著しく上回っていることが明らかとなった。
論文参考訳（メタデータ） (2023-12-11T18:57:35Z)
Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion [78.76867266561537]
評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
論文参考訳（メタデータ） (2023-11-06T18:59:01Z)
Semantic Equivalence of e-Commerce Queries [6.232692545488813]
本稿では,クエリの等価性を認識・活用し,検索とビジネスの成果を高めるためのフレームワークを提案する。提案手法は,検索意図のベクトル表現へのクエリのマッピング,等価あるいは類似の意図を表現した近傍のクエリの特定,ユーザやビジネス目的の最適化という3つの重要な問題に対処する。
論文参考訳（メタデータ） (2023-08-07T18:40:13Z)
DecompEval: Evaluating Generated Texts as Unsupervised Decomposed Question Answering [95.89707479748161]
自然言語生成タスク(NLG)の既存の評価指標は、一般化能力と解釈可能性の課題に直面している。本稿では,NLG評価を命令型質問応答タスクとして定式化するDecompEvalというメトリクスを提案する。本稿では,文の質を測る問合せに,文の質を問う指導スタイルの質問を分解する。 PLMが生成した回答を証拠として再検討し、評価結果を得る。
論文参考訳（メタデータ） (2023-07-13T16:16:51Z)
Query Performance Prediction: From Ad-hoc to Conversational Search [55.37199498369387]
クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。アドホック検索におけるQPPの有効性と有用性について検討した。その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
論文参考訳（メタデータ） (2023-05-18T12:37:01Z)
Exposing Query Identification for Search Transparency [69.06545074617685]
本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
論文参考訳（メタデータ） (2021-10-14T20:19:27Z)
POSSCORE: A Simple Yet Effective Evaluation of Conversational Search with Part of Speech Labelling [25.477834359694473]
Google AssistantやMicrosoft Cortanaのような会話型検索システムは、ユーザーが自然言語対話を通じて検索システムとの通信を許可する新しい検索パラダイムを提供する。本稿では,会話検索のための簡易かつ効果的な自動評価手法POSSCOREを提案する。我々の指標は人間の嗜好と相関し、最先端の基準指標よりも大幅に改善できることが示される。
論文参考訳（メタデータ） (2021-09-07T12:31:29Z)
APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query Categorization [12.634704014206294]
クエリ分類のためのレアクエリの表現を強化するために,textbfAttentive textbfPseudo textbfRelevance textbfFeedback textbfNetwork (APRF-Net) という新しいディープニューラルネットワークを提案する。以上の結果から,APRF-Netはクエリ分類をF1@1$スコアで5.9%改善し,レアクエリでは8.2%向上した。
論文参考訳（メタデータ） (2021-04-23T02:34:08Z)
Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文参考訳（メタデータ） (2020-10-01T15:33:09Z)
A Linguistically Driven Framework for Query Expansion via Grammatical Constituent Highlighting and Role-Based Concept Weighting [0.0]
関心のコンセプトは、探索目標のジストを表す中核的な概念として認識される。検索目標を特定し、クエリ構造を完了するのに役立つ残りのクエリ構成成分は、記述的、関係的、構造的に分類される。
論文参考訳（メタデータ） (2020-04-25T01:43:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。