論文の概要: Allocation Schemes in Analytic Evaluation: Applicant-Centric Holistic or Attribute-Centric Segmented?

• arxiv url: http://arxiv.org/abs/2209.08665v1
• Date: Sun, 18 Sep 2022 22:02:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 17:09:15.227000
• Title: Allocation Schemes in Analytic Evaluation: Applicant-Centric Holistic or Attribute-Centric Segmented?
• Title（参考訳）: 分析評価におけるアロケーションスキーム:申請者中心の全体的あるいは属性中心のセグメンテーション?
• Authors: Jingyan Wang, Carmel Baharav, Nihar B. Shah, Anita Williams Woolley, R Ravi
• Abstract要約: 採用や大学入学など、応募者の評価や選定など、多くの応用がある。 これらのアプリケーションでは、応募者数は多く、分散方式でタスクを複数の評価者に割り当てるのが一般的である。 我々は、各評価官により多くの応募者を割り当てるが、申請者当たりの属性が少ないことを検討し、分割割当と呼ぶ。
• 参考スコア（独自算出の注目度）: 30.17763246746458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many applications such as hiring and university admissions involve evaluation and selection of applicants. These tasks are fundamentally difficult, and require combining evidence from multiple different aspects (what we term "attributes"). In these applications, the number of applicants is often large, and a common practice is to assign the task to multiple evaluators in a distributed fashion. Specifically, in the often-used holistic allocation, each evaluator is assigned a subset of the applicants, and is asked to assess all relevant information for their assigned applicants. However, such an evaluation process is subject to issues such as miscalibration (evaluators see only a small fraction of the applicants and may not get a good sense of relative quality), and discrimination (evaluators are influenced by irrelevant information about the applicants). We identify that such attribute-based evaluation allows alternative allocation schemes. Specifically, we consider assigning each evaluator more applicants but fewer attributes per applicant, termed segmented allocation. We compare segmented allocation to holistic allocation on several dimensions via theoretical and experimental methods. We establish various tradeoffs between these two approaches, and identify conditions under which one approach results in more accurate evaluation than the other.
• Abstract（参考訳）: 雇用や大学入学などの多くの申請は、応募者の評価と選定を伴う。 これらのタスクは基本的に困難であり、複数の異なる側面("属性"と呼ぶもの)から証拠を組み合わせる必要がある。 これらのアプリケーションでは、応募者数はしばしば多く、分散した方法で複数のエミュレータにタスクを割り当てることが一般的である。 具体的には、しばしば使用される総括的割り当てにおいて、各評価者は出願人のサブセットを割り当てられ、割り当てられた出願人のすべての関連情報を評価するように要求される。 しかし、このような評価プロセスは、不一致(評価者は応募者のごく一部しか見えず、相対的な品質の良さが得られない)や差別(評価者は、応募者に関する無関係な情報によって影響を受ける)といった問題にかかっている。 このような属性に基づく評価は代替的な割当スキームを可能にする。 具体的には、各評価官をより多くの応募者で割り当てるが、応募者1人あたりの属性は少なく、セグメント割り当てと呼ぶ。 複数次元の分割割当と総括割当を理論的および実験的手法で比較した。 これら2つのアプローチ間のさまざまなトレードオフを確立し、一方のアプローチが他方よりも正確な評価をもたらす条件を特定する。

関連論文リスト

• Evaluating the Efficacy of Foundational Models: Advancing Benchmarking Practices to Enhance Fine-Tuning Decision-Making [1.3812010983144802]
  本研究は,サイバーセキュリティ,医療,金融など多種多様な分野にわたる言語モデル(LLM)を評価する。 その結果,モデルサイズと推論に用いるプロンプトの種類は応答長と品質に大きく影響した。
  論文  参考訳（メタデータ） (2024-06-25T20:52:31Z)
• A Closer Look at Classification Evaluation Metrics and a Critical Reflection of Common Evaluation Practice [6.091702876917282]
  分類システムは数え切れないほど多くの論文で評価されている。 しかし,評価の実践がしばしば誤りであることがわかった。 多くの研究は、いわゆる「マクロ」メトリクスを使ってシステムをランク付けするが、そのようなメトリクスから何を期待するかを明確には示していない。
  論文  参考訳（メタデータ） (2024-04-25T18:12:43Z)
• Evaluating Agents using Social Choice Theory [21.26784305333596]
  我々は、投票理論のレンズを通して、多くの一般的な評価問題を見ることができると論じる。 各タスクは別個の投票者として解釈され、全体的な評価を得るためには、通常のランク付けやエージェントのペア比較しか必要としない。 これらの評価は解釈可能で柔軟性があり、現在クロスタスク評価に直面している多くの問題を回避している。
  論文  参考訳（メタデータ） (2023-12-05T20:40:37Z)
• Identifying Reasons for Bias: An Argumentation-Based Approach [2.9465623430708905]
  そこで本研究では, 類似した個人と比較して, 個人が別々に分類される理由を決定するための, モデルに依存しない議論に基づく新しい手法を提案する。 フェアネス文献でよく用いられる2つのデータセットを用いて本手法の評価を行い,バイアスの同定に有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-25T09:47:15Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• Learning Classifiers of Prototypes and Reciprocal Points for Universal Domain Adaptation [79.62038105814658]
  Universal Domainは、ドメインシフトとカテゴリシフトという2つのシフトを処理して、データセット間で知識を転送することを目的としている。 主な課題は、既知のクラス知識の分布をソースからターゲットに適応させながら、未知のターゲットサンプルを正しく識別することである。 既存のほとんどの手法は、まずターゲットが適応した既知の知識を訓練し、次に未知のターゲットサンプルを識別するために単一のしきい値に依存することでこの問題に対処する。
  論文  参考訳（メタデータ） (2022-12-16T09:01:57Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Through the Data Management Lens: Experimental Analysis and Evaluation of Fair Classification [75.49600684537117]
  データ管理研究は、データとアルゴリズムの公平性に関連するトピックに対する存在感と関心が高まっている。 我々は,その正しさ,公平性,効率性,スケーラビリティ,安定性よりも,13の公正な分類アプローチと追加の変種を幅広く分析している。 我々の分析は、異なるメトリクスとハイレベルなアプローチ特性がパフォーマンスの異なる側面に与える影響に関する新しい洞察を強調します。
  論文  参考訳（メタデータ） (2021-01-18T22:55:40Z)
• Intersectional Affirmative Action Policies for Top-k Candidates Selection [3.4961413413444817]
  本研究では,トップk候補を応募者のプールから選抜する問題について検討する。 我々は,一部の候補者が歴史的かつ現在の不利を経験している状況を考える。 そこで本研究では,OECD国における学力評価と学士号取得のデータセットを用いて,この問題を解き,解析し,評価する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-29T12:27:18Z)
• Uncertainty-aware Score Distribution Learning for Action Quality Assessment [91.05846506274881]
  行動品質評価(AQA)のための不確実性認識スコア分布学習(USDL)手法を提案する。 具体的には、異なる評価スコアの確率を記述したスコア分布に関連する事例として、アクションを考察する。 微粒なスコアラベルが利用できる状況下では、多パス不確実性を考慮したスコア分布学習法(MUSDL)を考案し、スコアの不整合成分を探索する。
  論文  参考訳（メタデータ） (2020-06-13T15:41:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。