論文の概要: Wisdom of collaborators: a peer-review approach to performance appraisal
- arxiv url: http://arxiv.org/abs/1912.12861v1
- Date: Mon, 30 Dec 2019 09:23:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 07:03:59.580083
- Title: Wisdom of collaborators: a peer-review approach to performance appraisal
- Title(参考訳): 共同研究者の知恵--パフォーマンス評価に対するピアリビューアプローチ
- Authors: Sofia Dokuka, Ivan Zaikin, Kate Furman, Maksim Tsvetovat and Alex
Furman
- Abstract要約: 本稿では,個々人の評価と,定量化不可能な個々人の影響を評価する新しい指標であるPier Rank Score(PRS)を提案する。
PRSは、従業員のペアワイズ比較に基づいている。
シミュレーションでアルゴリズムの堅牢性を示し、1000人以上の従業員を対象に遺伝子検査会社として実証的に検証した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Individual performance and reputation within a company are major factors that
influence wage distribution, promotion and firing. Due to the complexity and
collaborative nature of contemporary business processes, the evaluation of
individual impact in the majority of organizations is an ambiguous and
non-trivial task. Existing performance appraisal approaches are often affected
by individuals biased judgements, and organizations are dissatisfied with the
results of evaluations. We assert that employees can provide accurate
measurement of their peer performance in a complex collaborative environment.
We propose a novel metric, the Peer Rank Score (PRS), that evaluates individual
reputations and the non-quantifiable individual impact. PRS is based on
pairwise comparisons of employees. We show high robustness of the algorithm on
simulations and empirically validate it for a genetic testing company on more
than one thousand employees using peer reviews over the course of three years.
- Abstract(参考訳): 企業内の個人のパフォーマンスと評価は、賃金の分配、昇進、解雇に影響を与える主要な要因である。
現代のビジネスプロセスの複雑さとコラボレーティブな性質のため、組織の大部分における個々の影響の評価は曖昧で非自明な作業である。
既存のパフォーマンス評価アプローチは、個人が偏った判断によってしばしば影響を受けるが、組織は評価結果に不満を持っている。
従業員は複雑な協調環境において、ピアパフォーマンスを正確に測定できると断言する。
本研究では,個人の評価と定量化不可能な個人的影響を評価する新しい指標であるピアランクスコア(prs)を提案する。
PRSは従業員のペア比較に基づいている。
シミュレーションにおけるアルゴリズムの堅牢性を示し、3年間で1000人以上の従業員を対象に、遺伝子検査会社として実証的な検証を行った。
関連論文リスト
- Individualized Policy Evaluation and Learning under Clustered Network
Interference [4.560284382063488]
クラスタ化されたネットワーク干渉下での最適個別化処理ルールの評価と学習の問題点を考察する。
ITRの実証性能を評価するための推定器を提案する。
学習ITRに対する有限サンプル残差を導出し、効率的な評価推定器の使用により学習ポリシーの性能が向上することを示す。
論文 参考訳(メタデータ) (2023-11-04T17:58:24Z) - Collaborative Evaluation: Exploring the Synergy of Large Language Models
and Humans for Open-ended Generation Evaluation [71.76872586182981]
大規模言語モデル(LLM)は、人間の評価に代わるスケーラブルで費用対効果の高い代替品として登場した。
本稿では,タスク固有の基準のチェックリストとテキストの詳細な評価を含む協調評価パイプラインCoEvalを提案する。
論文 参考訳(メタデータ) (2023-10-30T17:04:35Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳(メタデータ) (2023-08-14T15:13:04Z) - Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。
提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。
これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
論文 参考訳(メタデータ) (2023-05-25T21:01:00Z) - Flexible social inference facilitates targeted social learning when
rewards are not observable [58.762004496858836]
グループは、個人が他人の成功から学べるときにより効果的にコーディネートする。
社会的推論能力は、このギャップを埋める助けとなり、個人が他人の基本的な知識に対する信念を更新し、観察可能な行動軌跡から成功することを示唆する。
論文 参考訳(メタデータ) (2022-12-01T21:04:03Z) - Uncertainty-Driven Action Quality Assessment [67.20617610820857]
本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。
我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。
提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
論文 参考訳(メタデータ) (2022-07-29T07:21:15Z) - Homophily and Incentive Effects in Use of Algorithms [17.55279695774825]
本稿では,2つの要因がAIによる意思決定に与える影響を評価するために,クラウドソーシング・ヴィグネット研究を提案する。
まず、ホモフィリー(homophily)を検証します。
次に、インセンティブについて考えます -- ハイブリッドな意思決定環境に(既知の)コスト構造を組み込むには、どうすればよいのでしょう?
論文 参考訳(メタデータ) (2022-05-19T17:11:04Z) - Improving Peer Assessment with Graph Convolutional Networks [2.105564340986074]
ピアアセスメントは専門家による評価ほど正確ではないかもしれない。
まず,様々なピアアセスメント設定を表現可能なマルチリレーショナル重み付きネットワークとして,ピアアセスメントをモデル化する。
本稿では,評価パターンとユーザ動作を学習し,専門家の評価をより正確に予測するグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-11-04T03:43:09Z) - Fairness-aware Outlier Ensemble [30.0516419408149]
外れたアンサンブルメソッドは、大部分のデータと著しく異なるインスタンスの発見において、優れたパフォーマンスを示している。
公正さの意識がなければ、不正検出や司法判断システムといった倫理的シナリオにおける適用性は低下する可能性がある。
公平性を意識したアンサンブルフレームワークにより、アウトリーヤアンサンブル結果のバイアスを低減することを提案する。
論文 参考訳(メタデータ) (2021-03-17T03:21:24Z) - Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。
我々はこのような操作を検出する方法の設計に重点を置いている。
具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
論文 参考訳(メタデータ) (2020-10-08T15:08:40Z) - The cost of coordination can exceed the benefit of collaboration in
performing complex tasks [0.0]
ダイアドは徐々にパフォーマンスが向上するが、ほとんどの状況では個人に比べて集団的な利益を経験しない。
適切な訓練を受けたダイアドに新たな専門家を持つことで、精度が向上する。
個人が受けるトレーニングの程度、目の前のタスクの複雑さ、望ましいパフォーマンス指標がすべて、集団的な意思決定のメリットを測る上で考慮すべき重要な要素である、ということが分かる。
論文 参考訳(メタデータ) (2020-09-23T10:18:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。