論文の概要: Causal Effect of Group Diversity on Redundancy and Coverage in Peer-Reviewing
- arxiv url: http://arxiv.org/abs/2411.11437v1
- Date: Mon, 18 Nov 2024 10:08:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:27:42.747718
- Title: Causal Effect of Group Diversity on Redundancy and Coverage in Peer-Reviewing
- Title（参考訳）: ピアレビューにおける群多様性が冗長性と被覆性に及ぼす影響
- Authors: Navita Goyal, Ivan Stelmakh, Nihar Shah, Hal Daumé III,
- Abstract要約: 本報告では,レビュアーの多様性の異なる尺度がレビューのカバレッジと冗長性に与える影響について検討する。
多様な組織や地理的な場所のレビュアーと、レビュアーが密接な関係にあるという証拠は見つからない。
本研究は,ピアレビューにおけるレビュア割り当てに対するグループ意思決定の視点を採用し,レビュア割り当てプロセスの指針となる多様性の次元を提案する。
- 参考スコア（独自算出の注目度）: 28.370725937271448
- License:
- Abstract: A large host of scientific journals and conferences solicit peer reviews from multiple reviewers for the same submission, aiming to gather a broader range of perspectives and mitigate individual biases. In this work, we reflect on the role of diversity in the slate of reviewers assigned to evaluate a submitted paper as a factor in diversifying perspectives and improving the utility of the peer-review process. We propose two measures for assessing review utility: review coverage -- reviews should cover most contents of the paper -- and review redundancy -- reviews should add information not already present in other reviews. We hypothesize that reviews from diverse reviewers will exhibit high coverage and low redundancy. We conduct a causal study of different measures of reviewer diversity on review coverage and redundancy using observational data from a peer-reviewed conference with approximately 5,000 submitted papers. Our study reveals disparate effects of different diversity measures on review coverage and redundancy. Our study finds that assigning a group of reviewers that are topically diverse, have different seniority levels, or have distinct publication networks leads to broader coverage of the paper or review criteria, but we find no evidence of an increase in coverage for reviewer slates with reviewers from diverse organizations or geographical locations. Reviewers from different organizations, seniority levels, topics, or publications networks (all except geographical diversity) lead to a decrease in redundancy in reviews. Furthermore, publication network-based diversity alone also helps bring in varying perspectives (that is, low redundancy), even within specific review criteria. Our study adopts a group decision-making perspective for reviewer assignments in peer review and suggests dimensions of diversity that can help guide the reviewer assignment process.
- Abstract（参考訳）: 科学雑誌や会議の大勢が、複数のレビュアーから同じ提出を依頼し、幅広い視点を集め、個人の偏見を緩和することを目的としている。
本研究では,提案論文の評価に割り当てられたレビュアーのスレートにおける多様性の役割を,パースペクティブの多様化とピアレビュープロセスの有用性向上の要因として考察する。
レビューカバレッジ -- レビューは論文のほとんどをカバーし、レビュー冗長性 -- は、レビューユーティリティを評価するための2つの手段を提案する。
多様なレビュアーからのレビューは高いカバレッジと低い冗長性を示すと仮定する。
約5000件の論文を提出したピアレビュー会議の観察データを用いて,レビュー対象の多様性と冗長性に関するさまざまな尺度の因果的研究を行った。
本研究は,異なる多様性尺度がレビューカバレッジと冗長性に与える影響を明らかにする。
本研究は,レビュアー集団を分類的に多様で,年齢層が異なったり,出版ネットワークが異なっていたり,論文やレビュー基準が広く報道されているが,レビュアーが多様な組織や地域からのレビュアーと接触するケースが増えているという証拠は見つからない。
異なる組織、高齢者レベル、トピック、出版ネットワーク(全て地理的多様性を除く)のレビュアーは、レビューの冗長性を低下させる。
さらに、ネットワークベースの多様性を公開することは、特定のレビュー基準の範囲内でも、さまざまな視点(すなわち低い冗長性)をもたらすのにも役立ちます。
本研究は,ピアレビューにおけるレビュア割り当てに対するグループ意思決定の視点を採用し,レビュア割り当てプロセスの指針となる多様性の次元を提案する。
関連論文リスト
- AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。
本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
論文 参考訳（メタデータ） (2024-06-18T15:22:12Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Examining Bias in Opinion Summarisation Through the Perspective of
Opinion Diversity [7.16988671744865]
我々は、意見の多様性の観点から、意見の要約におけるバイアスを研究する。
本研究は, 世論の類似性について検討し, その関連性について考察した。
論文 参考訳（メタデータ） (2023-06-07T13:31:02Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳（メタデータ） (2022-02-14T02:58:55Z) - Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。
多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。
我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
論文 参考訳（メタデータ） (2021-09-09T15:01:43Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳（メタデータ） (2020-06-05T07:06:01Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳（メタデータ） (2020-05-25T16:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。