論文の概要: Wisdom of collaborators: a peer-review approach to performance appraisal

• arxiv url: http://arxiv.org/abs/1912.12861v1
• Date: Mon, 30 Dec 2019 09:23:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 07:03:59.580083
• Title: Wisdom of collaborators: a peer-review approach to performance appraisal
• Title（参考訳）: 共同研究者の知恵--パフォーマンス評価に対するピアリビューアプローチ
• Authors: Sofia Dokuka, Ivan Zaikin, Kate Furman, Maksim Tsvetovat and Alex Furman
• Abstract要約: 本稿では,個々人の評価と,定量化不可能な個々人の影響を評価する新しい指標であるPier Rank Score(PRS)を提案する。 PRSは、従業員のペアワイズ比較に基づいている。 シミュレーションでアルゴリズムの堅牢性を示し、1000人以上の従業員を対象に遺伝子検査会社として実証的に検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Individual performance and reputation within a company are major factors that influence wage distribution, promotion and firing. Due to the complexity and collaborative nature of contemporary business processes, the evaluation of individual impact in the majority of organizations is an ambiguous and non-trivial task. Existing performance appraisal approaches are often affected by individuals biased judgements, and organizations are dissatisfied with the results of evaluations. We assert that employees can provide accurate measurement of their peer performance in a complex collaborative environment. We propose a novel metric, the Peer Rank Score (PRS), that evaluates individual reputations and the non-quantifiable individual impact. PRS is based on pairwise comparisons of employees. We show high robustness of the algorithm on simulations and empirically validate it for a genetic testing company on more than one thousand employees using peer reviews over the course of three years.
• Abstract（参考訳）: 企業内の個人のパフォーマンスと評価は、賃金の分配、昇進、解雇に影響を与える主要な要因である。 現代のビジネスプロセスの複雑さとコラボレーティブな性質のため、組織の大部分における個々の影響の評価は曖昧で非自明な作業である。 既存のパフォーマンス評価アプローチは、個人が偏った判断によってしばしば影響を受けるが、組織は評価結果に不満を持っている。 従業員は複雑な協調環境において、ピアパフォーマンスを正確に測定できると断言する。 本研究では,個人の評価と定量化不可能な個人的影響を評価する新しい指標であるピアランクスコア(prs)を提案する。 PRSは従業員のペア比較に基づいている。 シミュレーションにおけるアルゴリズムの堅牢性を示し、3年間で1000人以上の従業員を対象に、遺伝子検査会社として実証的な検証を行った。

関連論文リスト

• Employee Turnover Prediction: A Cross-component Attention Transformer with Consideration of Competitor Influence and Contagious Effect [12.879229546467117]
  本研究では,企業間における個人従業員の転職を予測するために,ジョブの組込み性理論に基づく新たな深層学習手法を提案する。 提案手法は,最先端のベンチマーク手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2025-01-31T22:25:39Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• Direct Judgement Preference Optimization [66.83088028268318]
  我々は、他のモデルのアウトプットを評価し、批判するために、生成的判断として大きな言語モデル(LLM)を訓練する。 我々は,異なるユースケースに対する選好ペアの収集に3つのアプローチを採用し,それぞれが異なる視点から生成判断を改善することを目的としている。 提案モデルは,位置や長さの偏りなどの固有バイアスに強く対応し,実践者が指定した評価プロトコルに柔軟に適用し,下流ジェネレータモデルを改善する上で有用な言語フィードバックを提供する。
  論文  参考訳（メタデータ） (2024-09-23T02:08:20Z)
• Mitigating Cognitive Biases in Multi-Criteria Crowd Assessment [22.540544209683592]
  クラウドソーシングにおけるマルチ基準アセスメントに関連する認知バイアスに着目した。 複数の異なる基準で目標を同時に評価するクラウドワーカーは、いくつかの基準の優位性や評価対象の世界的な印象による偏りのある応答を提供することができる。 評価基準間の関係を考慮に入れたベイズ意見集約モデルのための2つの具体的なモデル構造を提案する。
  論文  参考訳（メタデータ） (2024-07-10T16:00:23Z)
• 360$^\circ$REA: Towards A Reusable Experience Accumulation with 360° Assessment for Multi-Agent System [71.96888731208838]
  評価フィードバックからの経験を総合的に評価し蓄積することは、システム性能を改善するための効果的なアプローチである、と我々は主張する。 企業組織の実践にインスパイアされた階層的なマルチエージェントフレームワークである360$circ$REA(360$circ$REA)による再利用可能なエクスペリエンス蓄積を提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:43:13Z)
• Measuring the Effect of Influential Messages on Varying Personas [67.1149173905004]
  我々は、ニュースメッセージを見る際にペルソナが持つ可能性のある応答を推定するために、ニュースメディア向けのペルソナに対するレスポンス予測という新しいタスクを提示する。 提案課題は,モデルにパーソナライズを導入するだけでなく,各応答の感情極性と強度も予測する。 これにより、ペルソナの精神状態に関するより正確で包括的な推測が可能になる。
  論文  参考訳（メタデータ） (2023-05-25T21:01:00Z)
• Improving Peer Assessment with Graph Convolutional Networks [2.105564340986074]
  ピアアセスメントは専門家による評価ほど正確ではないかもしれない。 まず,様々なピアアセスメント設定を表現可能なマルチリレーショナル重み付きネットワークとして,ピアアセスメントをモデル化する。 本稿では,評価パターンとユーザ動作を学習し,専門家の評価をより正確に予測するグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-11-04T03:43:09Z)
• Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
  我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。 我々はこのような操作を検出する方法の設計に重点を置いている。 具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
  論文  参考訳（メタデータ） (2020-10-08T15:08:40Z)
• The cost of coordination can exceed the benefit of collaboration in performing complex tasks [0.0]
  ダイアドは徐々にパフォーマンスが向上するが、ほとんどの状況では個人に比べて集団的な利益を経験しない。 適切な訓練を受けたダイアドに新たな専門家を持つことで、精度が向上する。 個人が受けるトレーニングの程度、目の前のタスクの複雑さ、望ましいパフォーマンス指標がすべて、集団的な意思決定のメリットを測る上で考慮すべき重要な要素である、ということが分かる。
  論文  参考訳（メタデータ） (2020-09-23T10:18:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。