論文の概要: Joint aggregation of cardinal and ordinal evaluations with an application to a student paper competition

• arxiv url: http://arxiv.org/abs/2101.04765v1
• Date: Tue, 12 Jan 2021 21:36:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 03:14:51.412853
• Title: Joint aggregation of cardinal and ordinal evaluations with an application to a student paper competition
• Title（参考訳）: 基数評価と順序評価の合同集約と学生用紙コンテストへの応用
• Authors: Dorit S. Hochbaum and Erick Moreno-Centeno
• Abstract要約: 決定論における重要な問題は、個々のランク/レーティングを集団評価に集約することである。 2007 MSOMの学生論文コンペティションにおける新たな集約手法について述べる。
• 参考スコア（独自算出の注目度）: 0.5076419064097732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An important problem in decision theory concerns the aggregation of individual rankings/ratings into a collective evaluation. We illustrate a new aggregation method in the context of the 2007 MSOM's student paper competition. The aggregation problem in this competition poses two challenges. Firstly, each paper was reviewed only by a very small fraction of the judges; thus the aggregate evaluation is highly sensitive to the subjective scales chosen by the judges. Secondly, the judges provided both cardinal and ordinal evaluations (ratings and rankings) of the papers they reviewed. The contribution here is a new robust methodology that jointly aggregates ordinal and cardinal evaluations into a collective evaluation. This methodology is particularly suitable in cases of incomplete evaluations -- i.e., when the individuals evaluate only a strict subset of the objects. This approach is potentially useful in managerial decision making problems by a committee selecting projects from a large set or capital budgeting involving multiple priorities.
• Abstract（参考訳）: 決定論における重要な問題は、個々のランク/レーティングを集団評価に集約することである。 2007 MSOMの学生論文コンペティションにおける新たな集約手法について述べる。 この競争における集合問題は2つの課題をもたらす。 第一に、各論文は裁判官のごくわずかな部分でのみレビューされ、その結果、総合評価は裁判官が選択した主観的な尺度に非常に敏感である。 第二に、裁判官は審査した論文の基数評価と順序評価(格付けとランク付け)の両方を提供した。 ここでの貢献は、順序と基数の評価を共同で総合評価に集約する新しい堅牢な方法論である。 この方法論は、不完全な評価の場合、すなわち、個人がオブジェクトの厳密なサブセットのみを評価する場合に特に適しています。 このアプローチは、大規模なプロジェクトや複数の優先順位を含む資本予算からプロジェクトを選択する委員会による管理的意思決定の問題において、潜在的に有用である。

関連論文リスト

• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• Evaluating Agents using Social Choice Theory [21.26784305333596]
  我々は、投票理論のレンズを通して、多くの一般的な評価問題を見ることができると論じる。 各タスクは別個の投票者として解釈され、全体的な評価を得るためには、通常のランク付けやエージェントのペア比較しか必要としない。 これらの評価は解釈可能で柔軟性があり、現在クロスタスク評価に直面している多くの問題を回避している。
  論文  参考訳（メタデータ） (2023-12-05T20:40:37Z)
• A Universal Unbiased Method for Classification from Aggregate Observations [115.20235020903992]
  本稿では,任意の損失に対する分類リスクを非バイアスで推定するCFAOの普遍的手法を提案する。 提案手法は,非バイアスリスク推定器によるリスクの整合性を保証するだけでなく,任意の損失に対応できる。
  論文  参考訳（メタデータ） (2023-06-20T07:22:01Z)
• Do You Hear The People Sing? Key Point Analysis via Iterative Clustering and Abstractive Summarisation [12.548947151123555]
  議論の要約は有望だが、現在未調査の分野である。 キーポイント分析の主な課題の1つは、高品質なキーポイント候補を見つけることである。 キーポイントの評価は 自動的に生成された要約が 役に立つことを保証するのに 不可欠です
  論文  参考訳（メタデータ） (2023-05-25T12:43:29Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Debiasing Evaluations That are Biased by Evaluations [32.135315382120154]
  我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。 この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。 また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
  論文  参考訳（メタデータ） (2020-12-01T18:20:43Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)
• Rough Set based Aggregate Rank Measure & its Application to Supervised Multi Document Summarization [0.0]
  本論文は、ランク尺度と呼ばれる新しいラフセットベースのメンバーシップを提案する。 要素を特定のクラスにランク付けするために使用する。 その結果,精度は有意に向上した。
  論文  参考訳（メタデータ） (2020-02-09T01:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。