論文の概要: Overview of the TREC 2020 Fair Ranking Track

• arxiv url: http://arxiv.org/abs/2108.05135v1
• Date: Wed, 11 Aug 2021 10:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 13:14:41.574091
• Title: Overview of the TREC 2020 Fair Ranking Track
• Title（参考訳）: TREC 2020 Fair Ranking Trackの概要
• Authors: Asia J. Biega, Fernando Diaz, Michael D. Ekstrand, Sergey Feldman, Sebastian Kohlmeier
• Abstract要約: 本稿は、NIST TREC 2020 Fair Ranking trackの概要を示す。 フェア・ランキング・トラックの中心的な目標は、様々な作家グループに公正な露出を提供することである。
• 参考スコア（独自算出の注目度）: 64.16623297717642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper provides an overview of the NIST TREC 2020 Fair Ranking track. For 2020, we again adopted an academic search task, where we have a corpus of academic article abstracts and queries submitted to a production academic search engine. The central goal of the Fair Ranking track is to provide fair exposure to different groups of authors (a group fairness framing). We recognize that there may be multiple group definitions (e.g. based on demographics, stature, topic) and hoped for the systems to be robust to these. We expected participants to develop systems that optimize for fairness and relevance for arbitrary group definitions, and did not reveal the exact group definitions until after the evaluation runs were submitted.The track contains two tasks,reranking and retrieval, with a shared evaluation.
• Abstract（参考訳）: 本稿では,nist trec 2020 fair ranking trackの概要について述べる。 2020年、我々は再び学術的な検索タスクを採用し、そこでは、学術論文の要約とクエリーのコーパスを生産的な学術的な検索エンジンに提出する。 フェアランキングトラックの中心的な目標は、異なる著者のグループ(グループフェアネスフレーミング)に公正な露出を提供することである。 我々は複数のグループ定義(例えば)が存在することを認識している。 人口統計、年齢、トピックに基づいて)、システムに堅牢になることを望んでいます。 参加者は,任意のグループ定義に対して公平性と妥当性を最適化するシステムを開発することを期待し,評価結果が提出されるまで正確なグループ定義を明かさなかった。

関連論文リスト

• Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems [40.199257203898846]
  我々は,多段階システム,すなわちGPRP(Generalized Probability Ranking Principle)のための改良されたランキング原理を提案する。 GPRPは、システムパイプラインの各ステージにおける選択バイアスと、ユーザの基本的な関心の両方を強調している。 我々の中核的な考え方は、まず次の段階における選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学ぶことである。
  論文  参考訳（メタデータ） (2024-05-08T06:35:04Z)
• Towards Group-aware Search Success [12.281168800322458]
  GA-SS(Group-Aware Search Success)と呼ばれる新しいメトリクスを導入する。 GA-SSは検索成功を再定義し、すべての人口集団が検索結果から満足を得られるようにする。 実世界の2つのデータセットでメトリクスとアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2024-04-26T10:45:34Z)
• BLP-2023 Task 2: Sentiment Analysis [7.725694295666573]
  本稿では,第1回BLP2023ワークショップの一環として編成されたBLP知覚共有タスクの概要を紹介する。 このタスクは、ソーシャルメディアのテキストの特定の部分における感情の検出として定義される。 本稿では,データセット開発と評価設定を含むタスク設定の詳細な説明を行う。
  論文  参考訳（メタデータ） (2023-10-24T21:00:41Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• Blackbox Post-Processing for Multiclass Fairness [1.5305403478254664]
  我々は,マルチクラス設定における公平性を達成するため,ブラックボックス機械学習分類器の予測を変更することを検討する。 我々は,系統的な合成実験を通じて,公正かつ正確な予測を行う方法を探究する。 全体として、我々の手法は精度の小さな低下を生じさせ、データセットの個体数が高い場合に公平さを強制する。
  論文  参考訳（メタデータ） (2022-01-12T13:21:20Z)
• RUSSE'2020: Findings of the First Taxonomy Enrichment Task for the Russian language [70.27072729280528]
  本稿では,ロシア語の分類学的豊か化に関する最初の共有課題の結果について述べる。 16チームがこのタスクに参加し、半数以上が提供されたベースラインを上回った。
  論文  参考訳（メタデータ） (2020-05-22T13:30:37Z)
• Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
  TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。 本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
  論文  参考訳（メタデータ） (2020-03-25T21:34:58Z)
• Recognizing Families In the Wild: White Paper for the 4th Edition Data Challenge [91.55319616114943]
  本稿では,Recognizing Families In the Wild(RFIW)評価における支援課題(親族検証,三対象検証,行方不明児の検索・検索)を要約する。 本研究の目的は、2020年のRFIWチャレンジと、将来的な方向性の予測について述べることである。
  論文  参考訳（メタデータ） (2020-02-15T02:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。