論文の概要: Surprise: Result List Truncation via Extreme Value Theory

• arxiv url: http://arxiv.org/abs/2010.09797v1
• Date: Mon, 19 Oct 2020 19:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 23:31:43.339085
• Title: Surprise: Result List Truncation via Extreme Value Theory
• Title（参考訳）: 驚き: 極値理論による結果リストの廃止
• Authors: Dara Bahri, Che Zheng, Yi Tay, Donald Metzler, Andrew Tomkins
• Abstract要約: そこで本研究では,問合せ時における可逆的・校正的関連度スコアを,ランク付けされたスコアに留まらず,統計的に生成する手法を提案する。 本稿では、画像、テキスト、IRデータセット間での結果リストのトランケーションタスクにおいて、その効果を実証する。
• 参考スコア（独自算出の注目度）: 92.5817701697342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Work in information retrieval has largely been centered around ranking and relevance: given a query, return some number of results ordered by relevance to the user. The problem of result list truncation, or where to truncate the ranked list of results, however, has received less attention despite being crucial in a variety of applications. Such truncation is a balancing act between the overall relevance, or usefulness of the results, with the user cost of processing more results. Result list truncation can be challenging because relevance scores are often not well-calibrated. This is particularly true in large-scale IR systems where documents and queries are embedded in the same metric space and a query's nearest document neighbors are returned during inference. Here, relevance is inversely proportional to the distance between the query and candidate document, but what distance constitutes relevance varies from query to query and changes dynamically as more documents are added to the index. In this work, we propose Surprise scoring, a statistical method that leverages the Generalized Pareto distribution that arises in extreme value theory to produce interpretable and calibrated relevance scores at query time using nothing more than the ranked scores. We demonstrate its effectiveness on the result list truncation task across image, text, and IR datasets and compare it to both classical and recent baselines. We draw connections to hypothesis testing and $p$-values.
• Abstract（参考訳）: 情報検索の仕事は、主にランク付けと関連性に焦点が当てられている: クエリが与えられたら、ユーザに関連づけられた結果を返す。 しかし、結果リストの切り離しや、ランキングリストの切り離しの問題は、様々なアプリケーションにおいて重要な問題であるにもかかわらず、あまり注目されていない。 このような切り離しは、全体の関連性、あるいは結果の有用性と、より多くの結果を処理するためのユーザコストとのバランスをとる行為である。 関連性スコアがよく校正されていないため、結果リストの切り離しは難しい。 これは、ドキュメントとクエリが同じメトリック空間に埋め込まれ、クエリの最も近いドキュメントが推論中に返される大規模なIRシステムにおいて特に当てはまる。 ここでは、関連性はクエリと候補文書の間の距離に逆比例するが、どの距離がクエリからクエリへ、またインデックスにより多くのドキュメントを追加すると動的に変化するかによって異なる。 本研究では,最大値理論に現れる一般化パレート分布を活用し,クエリ時にランク付けされたスコアのみを用いて,解釈可能かつ校正された適合度スコアを生成する統計的手法であるサプライズスコアリングを提案する。 画像,テキスト,IRデータセット間でのトランケーションタスクの結果リストにおいて,その有効性を示し,それらを古典的および最近のベースラインと比較する。 私たちは仮説テストと$p$-valuesにつながります。

関連論文リスト

• pEBR: A Probabilistic Approach to Embedding Based Retrieval [4.8338111302871525]
  埋め込み検索は、クエリとアイテムの両方の共有セマンティック表現空間を学習することを目的としている。 現在の産業実践では、検索システムは典型的には、異なるクエリに対して一定数のアイテムを検索する。
  論文  参考訳（メタデータ） (2024-10-25T07:14:12Z)
• Relevance Filtering for Embedding-based Retrieval [46.851594313019895]
  埋め込み型検索では、ANN(Approximate Nearest Neighbor)検索により、大規模データセットから類似したアイテムを効率的に検索することができる。 本稿では,この課題に対処するために,埋め込み型検索のための新しい関連フィルタリングコンポーネント("Cosine Adapter" と呼ぶ)を提案する。 少ないリコールの損失を犠牲にして、回収したセットの精度を大幅に向上することが可能です。
  論文  参考訳（メタデータ） (2024-08-09T06:21:20Z)
• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• List-aware Reranking-Truncation Joint Model for Search and Retrieval-augmented Generation [80.12531449946655]
  本稿では,2つのタスクを同時に実行可能なRe rank-Truncation joint model(GenRT)を提案する。 GenRTは、エンコーダ-デコーダアーキテクチャに基づく生成パラダイムによるリランクとトランケーションを統合している。 提案手法は,Web検索および検索拡張LLMにおけるリランクタスクとトラルケーションタスクの両方においてSOTA性能を実現する。
  論文  参考訳（メタデータ） (2024-02-05T06:52:53Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Online Learning of Optimally Diverse Rankings [63.62764375279861]
  ユーザのフィードバックのみに基づいて最適なリストを効率よく学習するアルゴリズムを提案する。 我々は、$T$クエリの後に、LDRの後悔は$O((N-L)log(T))$としてスケールする。
  論文  参考訳（メタデータ） (2021-09-13T12:13:20Z)
• Leveraging semantically similar queries for ranking via combining representations [20.79800117378761]
  データスカース設定では、特定のクエリで利用可能なラベル付きデータの量は、高度に可変で効率の悪いランキング関数につながる可能性がある。 少量のデータの影響を軽減する一つの方法は、セマンティックに類似したクエリからの情報を活用することである。 我々は,この現象をバイアス分散トレードオフの文脈で記述し,Bingナビゲーショングラフとショウジョウバエ幼虫コネクトームのデータスカース設定に適用する。
  論文  参考訳（メタデータ） (2021-06-23T18:36:20Z)
• Choppy: Cut Transformer For Ranked List Truncation [92.58177016973421]
  Choppyは、広く成功したTransformerアーキテクチャに基づいた仮説のないモデルである。 Choppyは最近の最先端の手法で改善されている。
  論文  参考訳（メタデータ） (2020-04-26T00:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。