論文の概要: How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions?
- arxiv url: http://arxiv.org/abs/2211.12966v1
- Date: Tue, 22 Nov 2022 15:59:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 16:34:30.772316
- Title: How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions?
- Title（参考訳）: 論文に対する著者の認識は、共著者の認識やピアレビュー決定とどのように比較されるか?
- Authors: Charvi Rastogi, Ivan Stelmakh, Alina Beygelzimer, Yann N. Dauphin,
Percy Liang, Jennifer Wortman Vaughan, Zhenyu Xue, Hal Daum\'e III, Emma
Pierson, and Nihar B. Shah
- Abstract要約: 著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
- 参考スコア（独自算出の注目度）: 87.00095008723181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How do author perceptions match up to the outcomes of the peer-review process
and perceptions of others? In a top-tier computer science conference (NeurIPS
2021) with more than 23,000 submitting authors and 9,000 submitted papers, we
survey the authors on three questions: (i) their predicted probability of
acceptance for each of their papers, (ii) their perceived ranking of their own
papers based on scientific contribution, and (iii) the change in their
perception about their own papers after seeing the reviews. The salient results
are: (1) Authors have roughly a three-fold overestimate of the acceptance
probability of their papers: The median prediction is 70% for an approximately
25% acceptance rate. (2) Female authors exhibit a marginally higher
(statistically significant) miscalibration than male authors; predictions of
authors invited to serve as meta-reviewers or reviewers are similarly
calibrated, but better than authors who were not invited to review. (3)
Authors' relative ranking of scientific contribution of two submissions they
made generally agree (93%) with their predicted acceptance probabilities, but
there is a notable 7% responses where authors think their better paper will
face a worse outcome. (4) The author-provided rankings disagreed with the
peer-review decisions about a third of the time; when co-authors ranked their
jointly authored papers, co-authors disagreed at a similar rate -- about a
third of the time. (5) At least 30% of respondents of both accepted and
rejected papers said that their perception of their own paper improved after
the review process. The stakeholders in peer review should take these findings
into account in setting their expectations from peer review.
- Abstract（参考訳）: 著者の認識は、ピアレビュープロセスや他者の知覚の結果とどのように一致しますか?
最上位のコンピュータサイエンスカンファレンス(NeurIPS 2021)では、著者が23,000人以上、論文が9000人以上、著者が3つの質問について調査した。
一 各論文の受理確率の予測
(ii)科学的貢献に基づく自身の論文のランク付け
(iii)レビューを見た後、自身の論文に対する認識の変化。
1)著者は論文の受理確率をおよそ3倍過大評価している: 中央値の予測は、約25%の受理率に対して70%である。
2) 女性作家は, 男性作家よりも極端に高い(統計的に重要な)誤診を示し, メタレビュアーやレビュアーとして招かれた著者の予測も同様に校正されているが, レビューに招待されなかった著者よりは優れている。
(3)著者が提出した2件の論文の科学的貢献の相対的ランク付け(93%)は、受理確率の予測に概ね一致しているが、著者がより良い論文がより悪い結果に直面すると考える顕著な7%の回答がある。
(4) 著者が提案したランキングは、その3分の1前後の査読決定とは一致せず、共同執筆者が共同執筆論文をランク付けしたとき、共同執筆者は3分の1程度の割合で意見が一致しなかった。
5%) 受理論文と受理論文の両方の回答者の少なくとも30%は, 審査後, 自己の論文に対する認識が改善したと回答した。
ピアレビューの利害関係者は、ピアレビューからの期待を考慮に入れなければならない。
関連論文リスト
- Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - My part is bigger than yours -- assessment within a group of peers [0.0]
プロジェクト(例えば、共同研究論文を書くなど)は、しばしばグループ作業である。最後に、各コントリビュータは、それぞれのコントリビューションを、しばしば口頭で識別する。
これは、論文作成におけるシェア(パーセント)が個々の著者によるものであるかという問題に繋がる。
本稿では,専門家の見解を集約するシンプルなモデルを提案し,その優先順位を他の専門家による評価と直接リンクする。
論文 参考訳（メタデータ） (2024-07-01T22:54:51Z) - Position: AI/ML Influencers Have a Place in the Academic Process [82.2069685579588]
機械学習研究の可視性向上におけるソーシャルメディアインフルエンサーの役割について検討する。
2018年12月から2023年10月までの間に、8000以上の論文の包括的なデータセットを収集しました。
我々の統計的および因果推論分析は、これらのインフルエンサーが支持する論文の引用が著しく増加することを示している。
論文 参考訳（メタデータ） (2024-01-24T20:05:49Z) - Eliciting Honest Information From Authors Using Sequential Review [13.424398627546788]
本稿では,著者からランキング情報を真に引き出すための逐次レビュー機構を提案する。
鍵となる考え方は、提供されたランキングに基づいて著者の論文をシーケンスでレビューし、前の論文のレビュースコアについて次の論文のレビューを条件付けることである。
論文 参考訳（メタデータ） (2023-11-24T17:27:39Z) - Estimating the Causal Effect of Early ArXiving on Paper Acceptance [56.538813945721685]
我々は,論文の審査期間(初期arXiving)前にarXivingが会議の受理に与える影響を推定する。
以上の結果から,早期のarXivingは,論文の受容に少なからぬ影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2023-06-24T07:45:38Z) - Has the Machine Learning Review Process Become More Arbitrary as the
Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。
両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
論文 参考訳（メタデータ） (2023-06-05T21:26:12Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Does double-blind peer-review reduce bias? Evidence from a top computer
science conference [2.642698101441705]
我々は、国際学習表現会議に提出された5027論文のピアレビューファイルを分析し、二重盲検レビューが名声バイアスに与える影響を分析する。
ダブルブラインドレビューに切り替えた後に、最も名高い著者に与えられるスコアが大幅に減少したことが判明した。
二重盲検レビューは、他の(非著者-先験的)バイアスを制限することにより、選択の質を改善した可能性がある。
論文 参考訳（メタデータ） (2021-01-07T18:59:26Z) - Characterising authors on the extent of their paper acceptance: A case
study of the Journal of High Energy Physics [4.402336973466853]
論文がほぼ常に会場で受理される著者のプロフィールと査読テキストについて検討する。
高い受け入れ率を持つ著者は、高い引用数、高い$h$-index、高い協力者数などを持つ可能性が高い。
論文 参考訳（メタデータ） (2020-06-12T03:26:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。