論文の概要: The Treatment of Ties in Rank-Biased Overlap

• arxiv url: http://arxiv.org/abs/2406.07121v1
• Date: Tue, 11 Jun 2024 10:10:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 22:08:51.728553
• Title: The Treatment of Ties in Rank-Biased Overlap
• Title（参考訳）: ランクバイアスオーバーラップにおけるTiesの治療経験
• Authors: Matteo Corsi, Julián Urbano,
• Abstract要約: ランク・バイアスド・オーバーラップ(RBO)は、不確定ランクの類似度尺度である。 同じクエリに対して検索した文書のランキングを比較することで,検索エンジン間の差異を分析するために広く利用されている。 残念なことに、RBOにおける結合の処理は表面的で不完全なままである。
• 参考スコア（独自算出の注目度）: 2.087148326341881
• License:
• Abstract: Rank-Biased Overlap (RBO) is a similarity measure for indefinite rankings: it is top-weighted, and can be computed when only a prefix of the rankings is known or when they have only some items in common. It is widely used for instance to analyze differences between search engines by comparing the rankings of documents they retrieve for the same queries. In these situations, though, it is very frequent to find tied documents that have the same score. Unfortunately, the treatment of ties in RBO remains superficial and incomplete, in the sense that it is not clear how to calculate it from the ranking prefixes only. In addition, the existing way of dealing with ties is very different from the one traditionally followed in the field of Statistics, most notably found in rank correlation coefficients such as Kendall's and Spearman's. In this paper we propose a generalized formulation for RBO to handle ties, thanks to which we complete the original definitions by showing how to perform prefix evaluation. We also use it to fully develop two variants that align with the ones found in the Statistics literature: one when there is a reference ranking to compare to, and one when there is not. Overall, these three variants provide researchers with flexibility when comparing rankings with RBO, by clearly determining what ties mean, and how they should be treated. Finally, using both synthetic and TREC data, we demonstrate the use of these new tie-aware RBO measures. We show that the scores may differ substantially from the original tie-unaware RBO measure, where ties had to be broken at random or by arbitrary criteria such as by document ID. Overall, these results evidence the need for a proper account of ties in rank similarity measures such as RBO.
• Abstract（参考訳）: ランクバイアスオーバーラップ(RBO: Rank-Biased Overlap)は、最上位のランク付けで、ランキングの接頭辞しか知られていない場合や、共通の項目しか持たない場合に計算できる、不確定ランク付けの類似度尺度である。 例えば、検索エンジン間の差異を分析するために、同じクエリに対して検索したドキュメントのランキングを比較するために広く使われている。 しかし、これらの状況では、同じスコアの結びついた文書を見つけることが非常に多い。 残念なことに、RBOの結びつきの扱いは表面的で不完全なままであり、ランキングの接頭辞のみから計算する方法が明確でないという意味では不完全なままである。 さらに、既存の関係の扱い方は統計学の分野で伝統的に続いたものとは大きく異なり、特にケンドールやスピアマンのようなランク相関係数に見られる。 本稿では, RBO が結合を扱うための一般化された定式化を提案し, プレフィックス評価を行う方法を示すことによって, 元の定義を完了した。 また、統計学の文献で見られるものと一致した2つの変種を、比較する基準ランキングがある場合と、比較しない場合とを、完全に開発するためにも使用しています。 全体として、これらの3つの変種は、ランキングをRBOと比較する際の柔軟性を提供する。 最後に、合成データとTRECデータの両方を用いて、これらの新しいタイアウェアRBO尺度の使用を実演する。 得られたスコアは,関係をランダムに,あるいは文書IDなどの任意の基準で破らなければならなくなった,本来の関係不明なRBO測度とは大きく異なる可能性がある。 全体として、これらの結果は、RBOのようなランク類似度尺度における関係の適切な説明の必要性を証明している。

関連論文リスト

• Fair Pairs: Fairness-Aware Ranking Recovery from Pairwise Comparisons [2.056289813004423]
  本稿では,ペア比較による公平性を考慮したランキング回復の問題を紹介する。 ペア比較から得られたランクの公平度を定量化するグループ条件付き精度尺度を提案する。
  論文  参考訳（メタデータ） (2024-08-23T12:46:16Z)
• Rematch: Robust and Efficient Matching of Local Knowledge Graphs to Improve Structural and Semantic Similarity [6.1980259703476674]
  我々は,新しいAMR類似度指標であるrematchを導入し,RAREと呼ばれる構造類似度の評価を行った。 Rematchは構造的類似度で2位、第1位はSTS-BとSICK-Rのベンチマークで1～5ポイントのセマンティック類似度で2位である。
  論文  参考訳（メタデータ） (2024-04-02T17:33:00Z)
• Measuring Bias in a Ranked List using Term-based Representations [50.69722973236967]
  TExFAIR (term exposure-based fairness) と呼ばれる新しい尺度を提案する。 TExFAIRは、ランクリスト内のグループの項ベースの表現に基づいて公正度を測定する。 実験の結果,TExFAIRとNFaiRRの相関は認められず,TExFAIRはNFaiRRと異なる寸法の公正度を測っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-09T18:24:58Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Ties Matter: Meta-Evaluating Modern Metrics with Pairwise Accuracy and Tie Calibration [31.082944145354293]
  Kendall の tau は機械翻訳(MT)評価のメタ評価によく使われ、個々の翻訳を評価する。 既存の変種は、関係の扱いから生じる弱点があり、いくつかの状況ではゲーム化も可能であることを示す。 そこで本稿では,関係を正確に予測するためのメトリクスクレジットを提供するペアワイズ精度バージョンと,相関を自動で評価する階層校正手順を提案する。
  論文  参考訳（メタデータ） (2023-05-23T17:54:57Z)
• Learnable Pillar-based Re-ranking for Image-Text Retrieval [119.9979224297237]
  画像テキスト検索は、モダリティギャップを埋め、意味的類似性に基づいてモダリティコンテンツを検索することを目的としている。 一般的なポストプロセッシング手法であるリグレードは, 単一モダリティ検索タスクにおいて, 隣り合う関係を捕捉する優位性を明らかにしている。 本稿では,画像テキスト検索のための新しい学習可能な柱型リグレードパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-25T04:33:27Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Mirror Matching: Document Matching Approach in Seed-driven Document Ranking for Medical Systematic Reviews [31.3220495275256]
  文書ランキングとは、関係する文書が無関係のものよりも上位にある文書ランキングを提供することによって研究者を支援する手法である。 本稿では,医用要約テキスト間のマッチングスコアを共通記述パターンを組み込んで計算するミラーマッチング(Mirror Matching)という文書マッチング尺度を提案する。
  論文  参考訳（メタデータ） (2021-12-28T22:27:52Z)
• Surprise: Result List Truncation via Extreme Value Theory [92.5817701697342]
  そこで本研究では,問合せ時における可逆的・校正的関連度スコアを,ランク付けされたスコアに留まらず,統計的に生成する手法を提案する。 本稿では、画像、テキスト、IRデータセット間での結果リストのトランケーションタスクにおいて、その効果を実証する。
  論文  参考訳（メタデータ） (2020-10-19T19:15:50Z)
• AMR Similarity Metrics from Principles [21.915057426589748]
  我々は、AMRのような意味表現と比較する指標を、研究者が原則的に評価できる基準を確立する。 偏差をわずかに意味することはより好意的であり、確立された全ての基準を満たすことを目標とする新しい計量 S$2$match を提案する。
  論文  参考訳（メタデータ） (2020-01-29T16:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。