論文の概要: Surprise: Result List Truncation via Extreme Value Theory
- arxiv url: http://arxiv.org/abs/2010.09797v1
- Date: Mon, 19 Oct 2020 19:15:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 23:31:43.339085
- Title: Surprise: Result List Truncation via Extreme Value Theory
- Title(参考訳): 驚き: 極値理論による結果リストの廃止
- Authors: Dara Bahri, Che Zheng, Yi Tay, Donald Metzler, Andrew Tomkins
- Abstract要約: そこで本研究では,問合せ時における可逆的・校正的関連度スコアを,ランク付けされたスコアに留まらず,統計的に生成する手法を提案する。
本稿では、画像、テキスト、IRデータセット間での結果リストのトランケーションタスクにおいて、その効果を実証する。
- 参考スコア(独自算出の注目度): 92.5817701697342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Work in information retrieval has largely been centered around ranking and
relevance: given a query, return some number of results ordered by relevance to
the user. The problem of result list truncation, or where to truncate the
ranked list of results, however, has received less attention despite being
crucial in a variety of applications. Such truncation is a balancing act
between the overall relevance, or usefulness of the results, with the user cost
of processing more results. Result list truncation can be challenging because
relevance scores are often not well-calibrated. This is particularly true in
large-scale IR systems where documents and queries are embedded in the same
metric space and a query's nearest document neighbors are returned during
inference. Here, relevance is inversely proportional to the distance between
the query and candidate document, but what distance constitutes relevance
varies from query to query and changes dynamically as more documents are added
to the index. In this work, we propose Surprise scoring, a statistical method
that leverages the Generalized Pareto distribution that arises in extreme value
theory to produce interpretable and calibrated relevance scores at query time
using nothing more than the ranked scores. We demonstrate its effectiveness on
the result list truncation task across image, text, and IR datasets and compare
it to both classical and recent baselines. We draw connections to hypothesis
testing and $p$-values.
- Abstract(参考訳): 情報検索の仕事は、主にランク付けと関連性に焦点が当てられている: クエリが与えられたら、ユーザに関連づけられた結果を返す。
しかし、結果リストの切り離しや、ランキングリストの切り離しの問題は、様々なアプリケーションにおいて重要な問題であるにもかかわらず、あまり注目されていない。
このような切り離しは、全体の関連性、あるいは結果の有用性と、より多くの結果を処理するためのユーザコストとのバランスをとる行為である。
関連性スコアがよく校正されていないため、結果リストの切り離しは難しい。
これは、ドキュメントとクエリが同じメトリック空間に埋め込まれ、クエリの最も近いドキュメントが推論中に返される大規模なIRシステムにおいて特に当てはまる。
ここでは、関連性はクエリと候補文書の間の距離に逆比例するが、どの距離がクエリからクエリへ、またインデックスにより多くのドキュメントを追加すると動的に変化するかによって異なる。
本研究では,最大値理論に現れる一般化パレート分布を活用し,クエリ時にランク付けされたスコアのみを用いて,解釈可能かつ校正された適合度スコアを生成する統計的手法であるサプライズスコアリングを提案する。
画像,テキスト,IRデータセット間でのトランケーションタスクの結果リストにおいて,その有効性を示し,それらを古典的および最近のベースラインと比較する。
私たちは仮説テストと$p$-valuesにつながります。
関連論文リスト
- List-aware Reranking-Truncation Joint Model for Search and
Retrieval-augmented Generation [80.12531449946655]
本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。
GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。
提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
論文 参考訳(メタデータ) (2024-02-05T06:52:53Z) - Detrimental Contexts in Open-Domain Question Answering [9.059854023578508]
質問応答に使用される検索テーマのアーキテクチャに対して,パスが有害な影響を及ぼすかを分析する。
この結果から,2つの人気のあるQAデータセットにおいて,有害経路をフィルタリングすることにより,モデル精度を10%向上できることが示唆された。
論文 参考訳(メタデータ) (2023-10-27T11:45:16Z) - Semantic Equivalence of e-Commerce Queries [6.232692545488813]
本稿では,クエリの等価性を認識・活用し,検索とビジネスの成果を高めるためのフレームワークを提案する。
提案手法は,検索意図のベクトル表現へのクエリのマッピング,等価あるいは類似の意図を表現した近傍のクエリの特定,ユーザやビジネス目的の最適化という3つの重要な問題に対処する。
論文 参考訳(メタデータ) (2023-08-07T18:40:13Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳(メタデータ) (2022-10-13T15:18:04Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳(メタデータ) (2022-04-05T19:39:13Z) - Online Learning of Optimally Diverse Rankings [63.62764375279861]
ユーザのフィードバックのみに基づいて最適なリストを効率よく学習するアルゴリズムを提案する。
我々は、$T$クエリの後に、LDRの後悔は$O((N-L)log(T))$としてスケールする。
論文 参考訳(メタデータ) (2021-09-13T12:13:20Z) - Leveraging semantically similar queries for ranking via combining
representations [20.79800117378761]
データスカース設定では、特定のクエリで利用可能なラベル付きデータの量は、高度に可変で効率の悪いランキング関数につながる可能性がある。
少量のデータの影響を軽減する一つの方法は、セマンティックに類似したクエリからの情報を活用することである。
我々は,この現象をバイアス分散トレードオフの文脈で記述し,Bingナビゲーショングラフとショウジョウバエ幼虫コネクトームのデータスカース設定に適用する。
論文 参考訳(メタデータ) (2021-06-23T18:36:20Z) - APRF-Net: Attentive Pseudo-Relevance Feedback Network for Query
Categorization [12.634704014206294]
クエリ分類のためのレアクエリの表現を強化するために,textbfAttentive textbfPseudo textbfRelevance textbfFeedback textbfNetwork (APRF-Net) という新しいディープニューラルネットワークを提案する。
以上の結果から,APRF-Netはクエリ分類をF1@1$スコアで5.9%改善し,レアクエリでは8.2%向上した。
論文 参考訳(メタデータ) (2021-04-23T02:34:08Z) - Choppy: Cut Transformer For Ranked List Truncation [92.58177016973421]
Choppyは、広く成功したTransformerアーキテクチャに基づいた仮説のないモデルである。
Choppyは最近の最先端の手法で改善されている。
論文 参考訳(メタデータ) (2020-04-26T00:52:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。