論文の概要: Automatic Analysis of Substantiation in Scientific Peer Reviews

• arxiv url: http://arxiv.org/abs/2311.11967v1
• Date: Mon, 20 Nov 2023 17:47:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 17:38:31.706844
• Title: Automatic Analysis of Substantiation in Scientific Peer Reviews
• Title（参考訳）: 科学的ピアレビューにおけるサブストラテネーションの自動解析
• Authors: Yanzhu Guo, Guokan Shang, Virgile Rennard, Michalis Vazirgiannis and Chlo\'e Clavel
• Abstract要約: SubstanReviewは、ドメインの専門家による注釈付きNLPカンファレンスからの550のレビューで構成されている。 このデータセットに基づいて、ピアレビューにおけるサブスタンレーションのレベルを自動的に解析する引数マイニングシステムを訓練する。 また,近年のNLPカンファレンスにおけるピアレビューの質に関する有意義な洞察を得るために,AsstanReviewデータセットのデータ分析を実施している。
• 参考スコア（独自算出の注目度）: 24.422667012858298
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing amount of problematic peer reviews in top AI conferences, the community is urgently in need of automatic quality control measures. In this paper, we restrict our attention to substantiation -- one popular quality aspect indicating whether the claims in a review are sufficiently supported by evidence -- and provide a solution automatizing this evaluation process. To achieve this goal, we first formulate the problem as claim-evidence pair extraction in scientific peer reviews, and collect SubstanReview, the first annotated dataset for this task. SubstanReview consists of 550 reviews from NLP conferences annotated by domain experts. On the basis of this dataset, we train an argument mining system to automatically analyze the level of substantiation in peer reviews. We also perform data analysis on the SubstanReview dataset to obtain meaningful insights on peer reviewing quality in NLP conferences over recent years.
• Abstract（参考訳）: トップAIカンファレンスにおける問題のあるピアレビューの増加に伴い、コミュニティは緊急に自動品質管理対策を必要としている。 本稿では,検証におけるクレームが証拠によって十分に支持されているかどうかを示す人気のある品質側面であるサブストラテテーションに留意し,この評価プロセスを自動化したソリューションを提供する。 この目的を達成するために,まず,科学ピアレビューにおいてクレーム・エビデンスペア抽出として問題を定式化し,この課題に対する最初の注釈付きデータセットであるsubstanreviewを収集する。 substanreviewはドメインエキスパートによるnlpカンファレンスの550のレビューで構成されている。 このデータセットに基づいて、ピアレビューにおけるサブスタンレーションのレベルを自動的に解析する引数マイニングシステムを訓練する。 また,近年のnlpコンファレンスにおいて,ピアレビューの品質に関する有意義な洞察を得るために,サブスタンリビューデータセットのデータ分析を行う。

関連論文リスト

• Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
  我々は2023年の国際機械学習会議(ICML)で実験を行った。 我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。 著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
  本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。 実験の結果,既存手法と比較して精度が向上した。 この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
  論文  参考訳（メタデータ） (2022-11-08T12:18:02Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL Rolling Review and Beyond [58.71736531356398]
  本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。 本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-27T11:02:43Z)
• Generating Summaries for Scientific Paper Review [29.12631698162247]
  機械学習とNLPにおけるトップの会場への応募の増加は、レビュアーに過剰な負担を課す問題を引き起こしている。 レビュープロセスを支援する自動システムは、問題を改善するための解決策になり得る。 本稿では,学術論文の自動レビュー要約生成について検討する。
  論文  参考訳（メタデータ） (2021-09-28T21:43:53Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。