論文の概要: Disparities in Peer Review Tone and the Role of Reviewer Anonymity
- arxiv url: http://arxiv.org/abs/2507.14741v1
- Date: Sat, 19 Jul 2025 20:19:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.030029
- Title: Disparities in Peer Review Tone and the Role of Reviewer Anonymity
- Title(参考訳): ピアレビュートーンの差異とレビュア匿名の役割
- Authors: Maria Sahakyan, Bedoor AlShebli,
- Abstract要約: 本研究は2つの主要な雑誌において8万件以上のレビューを調査する。
レビューのトーン、感情、支持的な言語が、著者の人口層によってどのように異なるかを明らかにする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The peer review process is often regarded as the gatekeeper of scientific integrity, yet increasing evidence suggests that it is not immune to bias. Although structural inequities in peer review have been widely debated, much less attention has been paid to the subtle ways in which language itself may reinforce disparities. This study undertakes one of the most comprehensive linguistic analyses of peer review to date, examining more than 80,000 reviews in two major journals. Using natural language processing and large-scale statistical modeling, it uncovers how review tone, sentiment, and supportive language vary across author demographics, including gender, race, and institutional affiliation. Using a data set that includes both anonymous and signed reviews, this research also reveals how the disclosure of reviewer identity shapes the language of evaluation. The findings not only expose hidden biases in peer feedback, but also challenge conventional assumptions about anonymity's role in fairness. As academic publishing grapples with reform, these insights raise critical questions about how review policies shape career trajectories and scientific progress.
- Abstract(参考訳): ピアレビューのプロセスは、しばしば科学的完全性の門番と見なされるが、多くの証拠は偏見に免疫がないことを示唆している。
ピアレビューにおける構造的不等式は広く議論されてきたが、言語自体が格差を強化する微妙な方法には、はるかに注意が払われていない。
本研究は,2つの主要なジャーナルにおいて,8万件以上のレビューを調査し,これまでで最も包括的であったピアレビューの言語学的分析を行った。
自然言語処理と大規模統計モデルを用いて、レビュートーン、感情、支持言語がどのように異なるかを明らかにする。
匿名レビューと署名レビューの両方を含むデータセットを用いて、レビュアーアイデンティティの開示が評価の言語をどう形作るかを明らかにする。
この発見は、ピアフィードバックにおいて隠れたバイアスを露呈するだけでなく、フェアネスにおける匿名性の役割に関する従来の仮定にも挑戦する。
学術出版が改革に支障をきたすにつれ、これらの洞察は、レビューポリシーがどのようにキャリアの軌跡を形成し、科学的進歩を形作るかについて、批判的な疑問を提起する。
関連論文リスト
- In-depth Research Impact Summarization through Fine-Grained Temporal Citation Analysis [52.42612945266194]
我々は、ニュアンス付き、表現型、時間対応のインパクトサマリーを生成する新しいタスクを提案する。
これらの要約は、微粒な引用意図の進化を通じて、賞賛(確認引用)と批評(補正引用)の両方を捉えていることを示す。
論文 参考訳(メタデータ) (2025-05-20T19:11:06Z) - Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳(メタデータ) (2025-04-09T14:14:42Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳(メタデータ) (2024-12-02T16:55:03Z) - AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。
本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
論文 参考訳(メタデータ) (2024-06-18T15:22:12Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳(メタデータ) (2024-06-11T15:27:01Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳(メタデータ) (2024-05-10T16:06:43Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Polarity in the Classroom: A Case Study Leveraging Peer Sentiment Toward
Scalable Assessment [4.588028371034406]
大規模なまたは大規模なオープンオンラインコース(MOOC)における、正確な段階的なオープンエンドの割り当ては、簡単ではない。
本稿では、ドメイン依存のレキシコンとアスペクトインフォーム化されたレビューフォームを作成するプロセスについて詳述する。
有効性を分析し、9コースから6800以上のピアレビューのコーパスから結論を議論する。
論文 参考訳(メタデータ) (2021-08-02T15:45:11Z) - Uncovering Latent Biases in Text: Method and Application to Peer Review [38.726731935235584]
本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。
評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
論文 参考訳(メタデータ) (2020-10-29T01:24:19Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳(メタデータ) (2020-06-05T07:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。