論文の概要: Improving Peer Assessment with Graph Convolutional Networks
- arxiv url: http://arxiv.org/abs/2111.04466v1
- Date: Thu, 4 Nov 2021 03:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 16:42:43.197009
- Title: Improving Peer Assessment with Graph Convolutional Networks
- Title（参考訳）: グラフ畳み込みネットワークによるピアアセスメントの改善
- Authors: Alireza A. Namanloo, Julie Thorpe, Amirali Salehi-Abari
- Abstract要約: ピアアセスメントは専門家による評価ほど正確ではないかもしれない。
まず,様々なピアアセスメント設定を表現可能なマルチリレーショナル重み付きネットワークとして,ピアアセスメントをモデル化する。
本稿では,評価パターンとユーザ動作を学習し,専門家の評価をより正確に予測するグラフ畳み込みネットワークを提案する。
- 参考スコア（独自算出の注目度）: 2.105564340986074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer assessment systems are emerging in many social and multi-agent settings,
such as peer grading in large (online) classes, peer review in conferences,
peer art evaluation, etc. However, peer assessments might not be as accurate as
expert evaluations, thus rendering these systems unreliable. The reliability of
peer assessment systems is influenced by various factors such as assessment
ability of peers, their strategic assessment behaviors, and the peer assessment
setup (e.g., peer evaluating group work or individual work of others). In this
work, we first model peer assessment as multi-relational weighted networks that
can express a variety of peer assessment setups, plus capture conflicts of
interest and strategic behaviors. Leveraging our peer assessment network model,
we introduce a graph convolutional network which can learn assessment patterns
and user behaviors to more accurately predict expert evaluations. Our extensive
experiments on real and synthetic datasets demonstrate the efficacy of our
proposed approach, which outperforms existing peer assessment methods.
- Abstract（参考訳）: ピアアセスメントシステムは、大規模な(オンライン)クラスにおけるピアグレーディング、カンファレンスにおけるピアレビュー、ピアアート評価など、多くのソーシャルおよびマルチエージェント設定で登場している。
しかし、ピアアセスメントは専門家の評価ほど正確ではないため、これらのシステムは信頼できない。
ピアアセスメントシステムの信頼性は、ピアのアセスメント能力、その戦略評価行動、ピアアセスメント設定(例えば、ピアアセスメントグループワークまたは他人の個人ワーク)といった様々な要因に影響される。
本稿では,ピアアセスメントを,さまざまなピアアセスメント設定を表現し,関心や戦略的行動の衝突を捉えるマルチリレーショナル重み付けネットワークとしてモデル化する。
ピアアセスメントネットワークモデルを活用したグラフ畳み込みネットワークを導入し、評価パターンやユーザの振る舞いを学習し、専門家の評価をより正確に予測する。
実データと合成データに関する広範な実験により,提案手法の有効性が示され,既存のピアアセスメント手法を上回っている。
関連論文リスト
- Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Evaluation in Neural Style Transfer: A Review [0.7614628596146599]
既存の評価手法の詳細な分析を行い、現在の評価手法の不整合と限界を特定し、標準化された評価手法の推奨を行う。
我々は、ロバストな評価フレームワークの開発により、より有意義で公平な比較が可能になるだけでなく、この分野における研究成果の理解と解釈を高めることができると考えている。
論文 参考訳（メタデータ） (2024-01-30T15:45:30Z) - Evaluating Agents using Social Choice Theory [21.26784305333596]
我々は、投票理論のレンズを通して、多くの一般的な評価問題を見ることができると論じる。
各タスクは別個の投票者として解釈され、全体的な評価を得るためには、通常のランク付けやエージェントのペア比較しか必要としない。
これらの評価は解釈可能で柔軟性があり、現在クロスタスク評価に直面している多くの問題を回避している。
論文 参考訳（メタデータ） (2023-12-05T20:40:37Z) - Strategic Evaluation: Subjects, Evaluators, and Society [1.1606619391009658]
評価自体の設計は、評価者の持つ目標をさらに進めるものとして理解することができると論じる。
3つの相互作用エージェントを用いた評価のプロセスを表現するモデルを提案した。
評価者をその戦略として扱うことで、意思決定対象に向けられた精査を再放送することができます。
論文 参考訳（メタデータ） (2023-10-05T16:33:08Z) - Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳（メタデータ） (2023-03-21T14:24:58Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳（メタデータ） (2022-05-20T20:50:17Z) - The Price of Strategyproofing Peer Assessment [30.51994705981846]
戦略行動は、ある種のピアアセスメントを必要とする様々な現実世界のアプリケーションにおいて、基本的な問題である。
個人の著作は、評価している提出書と競合しているため、自己の提出書の相対的地位を高めるために不当な評価をすることができる。
この問題は一般的に、個人を分割し、異なるサブセットからのみの作業を評価するよう割り当てることによって解決される。
論文 参考訳（メタデータ） (2022-01-25T21:16:33Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2021-02-20T03:29:20Z) - Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。
我々はこのような操作を検出する方法の設計に重点を置いている。
具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
論文 参考訳（メタデータ） (2020-10-08T15:08:40Z) - Wisdom of collaborators: a peer-review approach to performance appraisal [0.0]
本稿では,個々人の評価と,定量化不可能な個々人の影響を評価する新しい指標であるPier Rank Score(PRS)を提案する。
PRSは、従業員のペアワイズ比較に基づいている。
シミュレーションでアルゴリズムの堅牢性を示し、1000人以上の従業員を対象に遺伝子検査会社として実証的に検証した。
論文 参考訳（メタデータ） (2019-12-30T09:23:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。