論文の概要: What Can Natural Language Processing Do for Peer Review?

• arxiv url: http://arxiv.org/abs/2405.06563v1
• Date: Fri, 10 May 2024 16:06:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 15:18:23.373850
• Title: What Can Natural Language Processing Do for Peer Review?
• Title（参考訳）: 自然言語処理はピアレビューに何ができるか?
• Authors: Ilia Kuznetsov, Osama Mohammed Afzal, Koen Dercksen, Nils Dycke, Alexander Goldberg, Tom Hope, Dirk Hovy, Jonathan K. Kummerfeld, Anne Lauscher, Kevin Leyton-Brown, Sheng Lu, Mausam, Margot Mieskes, Aurélie Névéol, Danish Pruthi, Lizhen Qu, Roy Schwartz, Noah A. Smith, Thamar Solorio, Jingyan Wang, Xiaodan Zhu, Anna Rogers, Nihar B. Shah, Iryna Gurevych,
• Abstract要約: 現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
• 参考スコア（独自算出の注目度）: 173.8912784451817
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The number of scientific articles produced every year is growing rapidly. Providing quality control over them is crucial for scientists and, ultimately, for the public good. In modern science, this process is largely delegated to peer review -- a distributed procedure in which each submission is evaluated by several independent experts in the field. Peer review is widely used, yet it is hard, time-consuming, and prone to error. Since the artifacts involved in peer review -- manuscripts, reviews, discussions -- are largely text-based, Natural Language Processing has great potential to improve reviewing. As the emergence of large language models (LLMs) has enabled NLP assistance for many new tasks, the discussion on machine-assisted peer review is picking up the pace. Yet, where exactly is help needed, where can NLP help, and where should it stand aside? The goal of our paper is to provide a foundation for the future efforts in NLP for peer-reviewing assistance. We discuss peer review as a general process, exemplified by reviewing at AI conferences. We detail each step of the process from manuscript submission to camera-ready revision, and discuss the associated challenges and opportunities for NLP assistance, illustrated by existing work. We then turn to the big challenges in NLP for peer review as a whole, including data acquisition and licensing, operationalization and experimentation, and ethical issues. To help consolidate community efforts, we create a companion repository that aggregates key datasets pertaining to peer review. Finally, we issue a detailed call for action for the scientific community, NLP and AI researchers, policymakers, and funding bodies to help bring the research in NLP for peer review forward. We hope that our work will help set the agenda for research in machine-assisted scientific quality control in the age of AI, within the NLP community and beyond.
• Abstract（参考訳）: 毎年生産される科学論文の数は急速に増えている。 それらに対する品質管理を提供することは、科学者にとって、そして究極的には、公共の利益のために不可欠である。 現代の科学では、このプロセスは主にピアレビューに委譲され、各申請はこの分野のいくつかの独立した専門家によって評価される分散プロシージャである。 ピアレビューは広く使われているが、難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクト(原稿、レビュー、議論など)は大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 大規模言語モデル(LLM)の出現により、多くの新しいタスクに対してNLPアシストが可能になったため、機械支援ピアレビューに関する議論が加速しつつある。 しかし、どこにヘルプが必要なのか、NLPはどこで助けられるのか、どこに置けばいいのか? 本論文の目的は,NLPにおけるピアレビュー支援の今後の取り組みの基盤を提供することである。 我々は、AIカンファレンスでのレビューを例に、ピアレビューを一般的なプロセスとして議論する。 本研究は,原稿提出からカメラ対応リビジョンまでの各工程について詳述し,NLP支援の課題と可能性について考察する。 そして、データ取得とライセンス、運用と実験、倫理的問題など、NLPのピアレビューにおける大きな課題に目を向けます。 コミュニティの取り組みの統合を支援するために、ピアレビューに関連する重要なデータセットを集約するコンパニオンリポジトリを作成します。 最後に、科学コミュニティ、NLPおよびAI研究者、政策立案者、資金提供団体に対して、NLPの研究をピアレビューに進めるための詳細な行動を求める。 私たちは、AI時代やNLPコミュニティなどにおける、機械支援による科学的な品質管理の研究のアジェンダの設定を支援することを願っています。

関連論文リスト

• GPT4 is Slightly Helpful for Peer-Review Assistance: A Pilot Study [0.0]
  GPT4はピアレビュープロセスを支援するために開発された。 大規模な機械学習会議に提出された学術論文の人間レビュアーとGPTモデルによるレビューを比較することにより、人工知能がピアレビュープロセスに効果的に貢献できるという最初の証拠を提供する。
  論文  参考訳（メタデータ） (2023-06-16T23:11:06Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Automated scholarly paper review: Concepts, technologies, and challenges [5.431798850623952]
  近年、ピアレビュープロセスを支援するために人工知能(AI)が応用されている。 人間の関与により、このような制限は避けられないままである。
  論文  参考訳（メタデータ） (2021-11-15T04:44:57Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)
• Argument Mining Driven Analysis of Peer-Reviews [4.552676857046446]
  本稿では,編集者,メタレビュアー,レビュアーの支援を目的としたArgument Miningに基づくアプローチを提案する。 以上の知見の1つは、ピアレビュープロセスで使われる引数が他のドメインの引数とは異なるため、事前学習されたモデルの転送が困難であるということです。 私たちは、注釈付き引数を持つさまざまなコンピュータサイエンス会議の新しいピアレビューデータセットをコミュニティに提供します。
  論文  参考訳（メタデータ） (2020-12-10T16:06:21Z)
• What Can We Do to Improve Peer Review in NLP? [69.11622020605431]
  問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。 先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
  論文  参考訳（メタデータ） (2020-10-08T09:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。