論文の概要: Overview of the TREC 2019 Fair Ranking Track
- arxiv url: http://arxiv.org/abs/2003.11650v1
- Date: Wed, 25 Mar 2020 21:34:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 03:48:21.978199
- Title: Overview of the TREC 2019 Fair Ranking Track
- Title（参考訳）: trec 2019 fair ranking trackの概要
- Authors: Asia J. Biega, Fernando Diaz, Michael D. Ekstrand, Sebastian Kohlmeier
- Abstract要約: TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。
本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
- 参考スコア（独自算出の注目度）: 65.15263872493799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of the TREC Fair Ranking track was to develop a benchmark for
evaluating retrieval systems in terms of fairness to different content
providers in addition to classic notions of relevance. As part of the
benchmark, we defined standardized fairness metrics with evaluation protocols
and released a dataset for the fair ranking problem. The 2019 task focused on
reranking academic paper abstracts given a query. The objective was to fairly
represent relevant authors from several groups that were unknown at the system
submission time. Thus, the track emphasized the development of systems which
have robust performance across a variety of group definitions. Participants
were provided with querylog data (queries, documents, and relevance) from
Semantic Scholar. This paper presents an overview of the track, including the
task definition, descriptions of the data and the annotation process, as well
as a comparison of the performance of submitted systems.
- Abstract（参考訳）: TREC Fair Rankingトラックの目標は、古典的な関連性の概念に加えて、異なるコンテンツプロバイダに対する公正性の観点から検索システムを評価するためのベンチマークを開発することであった。
ベンチマークの一部として、評価プロトコルで標準化された公正度メトリクスを定義し、公正ランキング問題のデータセットをリリースしました。
2019年のタスクは、質問を受けた学術論文の要約を再評価することに焦点を当てた。
その目的は、システム提出時に未知の複数のグループの関連著者を公平に表現することであった。
このようにして、様々なグループ定義で堅牢な性能を持つシステムの開発を強調した。
参加者にはsemantic scholarからクエリーログデータ(クエリ、ドキュメント、関連)が提供された。
本稿では,タスク定義やデータ記述,アノテーションプロセス,提案システムの性能比較などのトラックの概要について述べる。
関連論文リスト
- Understanding the User: An Intent-Based Ranking Dataset [2.6145315573431214]
本稿では,このようなデータセットを付加して,アノテートなクエリ記述を付加する手法を提案する。
我々の手法は、個々のクエリにおける暗黙の意図を分析し、理解するために最先端のLCMを利用することである。
キーセマンティック要素を抽出することにより、これらのクエリについて詳細に、文脈的にリッチな記述を構築する。
論文 参考訳（メタデータ） (2024-08-30T08:40:59Z) - Measuring Bias in a Ranked List using Term-based Representations [50.69722973236967]
TExFAIR (term exposure-based fairness) と呼ばれる新しい尺度を提案する。
TExFAIRは、ランクリスト内のグループの項ベースの表現に基づいて公正度を測定する。
実験の結果,TExFAIRとNFaiRRの相関は認められず,TExFAIRはNFaiRRと異なる寸法の公正度を測っていることがわかった。
論文 参考訳（メタデータ） (2024-03-09T18:24:58Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Mirror Matching: Document Matching Approach in Seed-driven Document
Ranking for Medical Systematic Reviews [31.3220495275256]
文書ランキングとは、関係する文書が無関係のものよりも上位にある文書ランキングを提供することによって研究者を支援する手法である。
本稿では,医用要約テキスト間のマッチングスコアを共通記述パターンを組み込んで計算するミラーマッチング(Mirror Matching)という文書マッチング尺度を提案する。
論文 参考訳（メタデータ） (2021-12-28T22:27:52Z) - Overview of the TREC 2020 Fair Ranking Track [64.16623297717642]
本稿は、NIST TREC 2020 Fair Ranking trackの概要を示す。
フェア・ランキング・トラックの中心的な目標は、様々な作家グループに公正な露出を提供することである。
論文 参考訳（メタデータ） (2021-08-11T10:22:05Z) - Corpora Evaluation and System Bias Detection in Multi-document
Summarization [25.131744693121508]
MDS(Multi-document summarization)は、文書の集合から簡潔なテキスト段落にキーポイントを反映するタスクである。
タスクの標準的な定義がないため、さまざまなレベルの重複と、参加するドキュメント間のコンフリクトを持つデータセットに遭遇する。
新しいシステムは、選択したデータセットのセットについて結果を報告し、他のデータセットのパフォーマンスと相関しないかもしれない。
論文 参考訳（メタデータ） (2020-10-05T05:25:43Z) - Towards Question-Answering as an Automatic Metric for Evaluating the
Content Quality of a Summary [65.37544133256499]
質問回答(QA)を用いて要約内容の質を評価する指標を提案する。
提案指標であるQAEvalの分析を通じて,QAに基づくメトリクスの実験的メリットを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:33:09Z) - Fine-Grained Relevance Annotations for Multi-Task Document Ranking and
Question Answering [9.480648914353035]
本稿では,Fine-Grained Relevancesの新たなデータセットであるFiRAを紹介する。
TREC 2019のディープ・ラーニング・トラックのランク付けされた検索アノテーションは、すべての関連文書のパスレベルとワードグレードの関連アノテーションで拡張する。
例えば、最近導入されたTKL文書ランキングモデルを評価し、TKLは長い文書に対して最先端の検索結果を示すが、多くの関連項目を見逃している。
論文 参考訳（メタデータ） (2020-08-12T14:59:50Z) - Recognizing Families In the Wild: White Paper for the 4th Edition Data
Challenge [91.55319616114943]
本稿では,Recognizing Families In the Wild(RFIW)評価における支援課題(親族検証,三対象検証,行方不明児の検索・検索)を要約する。
本研究の目的は、2020年のRFIWチャレンジと、将来的な方向性の予測について述べることである。
論文 参考訳（メタデータ） (2020-02-15T02:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。