論文の概要: Rank Aggregation in Crowdsourcing for Listwise Annotations

• arxiv url: http://arxiv.org/abs/2410.07538v1
• Date: Thu, 10 Oct 2024 02:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:26:23.074064
• Title: Rank Aggregation in Crowdsourcing for Listwise Annotations
• Title（参考訳）: リストワイズアノテーションのためのクラウドソーシングにおけるランクアグリゲーション
• Authors: Wenshui Luo, Haoyu Liu, Yongliang Ding, Tao Zhou, Sheng wan, Runze Wu, Minmin Lin, Cong Zhang, Changjie Fan, Chen Gong,
• Abstract要約: クラウドソーシングにおけるリストワイド・アグリゲーション手法を提案する。 本設計では,特にアノテーションの品質指標を用いて,注釈付きランクと真のランクとの差を計測する。 また,アノテータの性能に直接影響を与えるため,ランキング問題自体の難しさも考慮に入れている。
• 参考スコア（独自算出の注目度）: 37.0231203825557
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Rank aggregation through crowdsourcing has recently gained significant attention, particularly in the context of listwise ranking annotations. However, existing methods primarily focus on a single problem and partial ranks, while the aggregation of listwise full ranks across numerous problems remains largely unexplored. This scenario finds relevance in various applications, such as model quality assessment and reinforcement learning with human feedback. In light of practical needs, we propose LAC, a Listwise rank Aggregation method in Crowdsourcing, where the global position information is carefully measured and included. In our design, an especially proposed annotation quality indicator is employed to measure the discrepancy between the annotated rank and the true rank. We also take the difficulty of the ranking problem itself into consideration, as it directly impacts the performance of annotators and consequently influences the final results. To our knowledge, LAC is the first work to directly deal with the full rank aggregation problem in listwise crowdsourcing, and simultaneously infer the difficulty of problems, the ability of annotators, and the ground-truth ranks in an unsupervised way. To evaluate our method, we collect a real-world business-oriented dataset for paragraph ranking. Experimental results on both synthetic and real-world benchmark datasets demonstrate the effectiveness of our proposed LAC method.
• Abstract（参考訳）: クラウドソーシングによるランクアグリゲーションは、特にリストワイドなランキングアノテーションの文脈において、近年大きな注目を集めている。 しかし、既存の手法は主に1つの問題と部分的なランクに焦点をあてるが、多くの問題にまたがるリストワイドの完全なランクの集合は、ほとんど探索されていない。 このシナリオは、モデル品質評価や人間からのフィードバックによる強化学習など、様々な応用に関連性を見出す。 本研究では,クラウドソーシングにおけるリストワイド・アグリゲーション手法であるLACを提案する。 本設計では,特にアノテーションの品質指標を用いて,注釈付きランクと真のランクとの差を計測する。 また、アノテータの性能に直接影響を与え、その結果、最終的な結果に影響を及ぼすため、ランキング問題自体の難しさも考慮に入れている。 我々の知る限り、LACは、リストワイドのクラウドソーシングにおいて、完全なランク集約問題に直接対処し、同時に問題の難易度、アノテータの能力、接地トラスを教師なしの方法で推定する最初の研究である。 提案手法を評価するために,段落ランキングのための実世界のビジネス指向データセットを収集する。 合成および実世界のベンチマークデータセットを用いた実験結果から,提案手法の有効性が示された。

関連論文リスト

• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Rethinking Object Saliency Ranking: A Novel Whole-flow Processing Paradigm [22.038715439842044]
  本稿では、その「重要順」によって、有能な物体のランク付けに完全にフォーカスすることを目的とした、有能なランキングのための新しいパラダイムを提案する。 提案手法は、広く使われているSALICONの既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-12-06T01:51:03Z)
• Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
  リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。 利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
  論文  参考訳（メタデータ） (2022-12-21T04:49:55Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
  アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。 本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。 パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-25T06:04:59Z)
• Confidence-Aware Active Feedback for Efficient Instance Search [21.8172170825049]
  関連性フィードバックは、不完全なランキング結果をさらに洗練させるために、インスタンス検索(INS)タスクで広く使用されている。 本稿では,最も価値の高いフィードバック候補を効率的に選択できる信頼性対応アクティブフィードバック(CAAF)手法を提案する。 特にCAAFは、TRECVID 2021の大規模ビデオINS評価において、第1位を記録している。
  論文  参考訳（メタデータ） (2021-10-23T16:14:03Z)
• Data Driven and Visualization based Strategization for University Rank Improvement using Decision Trees [1.933681537640272]
  本稿では,Decision Tree (DT) に基づくアルゴリズムを用いてランキングデータを分類し,データ可視化技術を用いてランク改善のための決定経路を抽出する手法を提案する。 提案手法は,HEIが改善の範囲を定量的に評価し,詳細な長期行動計画と適切な道路マップを作成するのに役立つ。
  論文  参考訳（メタデータ） (2021-10-18T06:41:45Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Learning to Rank in the Position Based Model with Bandit Feedback [3.9121134770873742]
  本稿では,LinUCB と Linear Thompson Sampling の2つのよく知られたアルゴリズムの拡張を提案する。 生産環境におけるバイアスを考慮し,位置ベースクリックモデルを用いる。
  論文  参考訳（メタデータ） (2020-04-27T19:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。