論文の概要: When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews

• arxiv url: http://arxiv.org/abs/2310.18685v1
• Date: Sat, 28 Oct 2023 11:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 17:06:03.040040
• Title: When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews
• Title（参考訳）: レビュー者のlock hornが語る: 科学的な査読の不一致を見つける
• Authors: Sandeep Kumar, Tirthankar Ghosal, Asif Ekbal
• Abstract要約: 本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
• 参考スコア（独自算出の注目度）: 24.875901048855077
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To this date, the efficacy of the scientific publishing enterprise fundamentally rests on the strength of the peer review process. The journal editor or the conference chair primarily relies on the expert reviewers' assessment, identify points of agreement and disagreement and try to reach a consensus to make a fair and informed decision on whether to accept or reject a paper. However, with the escalating number of submissions requiring review, especially in top-tier Artificial Intelligence (AI) conferences, the editor/chair, among many other works, invests a significant, sometimes stressful effort to mitigate reviewer disagreements. Here in this work, we introduce a novel task of automatically identifying contradictions among reviewers on a given article. To this end, we introduce ContraSciView, a comprehensive review-pair contradiction dataset on around 8.5k papers (with around 28k review pairs containing nearly 50k review pair comments) from the open review-based ICLR and NeurIPS conferences. We further propose a baseline model that detects contradictory statements from the review pairs. To the best of our knowledge, we make the first attempt to identify disagreements among peer reviewers automatically. We make our dataset and code public for further investigations.
• Abstract（参考訳）: 今日まで、科学出版企業の有効性は、ピアレビュープロセスの強みに基本的に依存している。 ジャーナル編集者または会議議長は、主に専門家の審査員の評価に依存し、合意点と意見の相違点を特定し、論文を受理するか拒否するかについて公平で情報的な決定を下そうとする。 しかし、特にトップクラスの人工知能(ai)カンファレンスにおいて、レビューを必要とする応募が急増する中、編集者/議長は、レビュワーの不一致を軽減するために、重要な、時にはストレスの多い努力を投資している。 本稿では,ある記事に対するレビュアー間の矛盾を自動的に識別する新しいタスクを提案する。 この目的のために、オープンレビューベースのiclrおよびneuripsカンファレンスから約8.5kの論文(約2万5000のレビューペアが50万近いレビューペアコメントを含む)に包括的なレビューペア矛盾データセットであるcontrasciviewを紹介する。 さらに,レビューペアから矛盾文を検出するベースラインモデルを提案する。 我々の知る限りでは、ピアレビュアー間の不一致を自動的に識別する最初の試みを行う。 さらなる調査のためにデータセットとコードを公開します。

関連論文リスト

• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• Automatic Analysis of Substantiation in Scientific Peer Reviews [24.422667012858298]
  SubstanReviewは、ドメインの専門家による注釈付きNLPカンファレンスからの550のレビューで構成されている。 このデータセットに基づいて、ピアレビューにおけるサブスタンレーションのレベルを自動的に解析する引数マイニングシステムを訓練する。 また,近年のNLPカンファレンスにおけるピアレビューの質に関する有意義な洞察を得るために,AsstanReviewデータセットのデータ分析を実施している。
  論文  参考訳（メタデータ） (2023-11-20T17:47:37Z)
• Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
  本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。 実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-24T02:33:35Z)
• Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
  本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。 実験の結果,既存手法と比較して精度が向上した。 この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
  論文  参考訳（メタデータ） (2022-11-08T12:18:02Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design [76.40919326501512]
  総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか? 実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2021-08-13T19:29:41Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review [35.24369486197371]
  現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
  論文  参考訳（メタデータ） (2020-11-30T09:35:37Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)
• How Useful are Reviews for Recommendation? A Critical Review and Potential Improvements [8.471274313213092]
  本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。 実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。 さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
  論文  参考訳（メタデータ） (2020-05-25T16:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。