論文の概要: Can We Automate Scientific Reviewing?
- arxiv url: http://arxiv.org/abs/2102.00176v1
- Date: Sat, 30 Jan 2021 07:16:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-03 06:42:00.714638
- Title: Can We Automate Scientific Reviewing?
- Title（参考訳）: 科学的レビューを自動化できますか?
- Authors: Weizhe Yuan and Pengfei Liu and Graham Neubig
- Abstract要約: 我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
- 参考スコア（独自算出の注目度）: 89.50052670307434
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: The rapid development of science and technology has been accompanied by an
exponential growth in peer-reviewed scientific publications. At the same time,
the review of each paper is a laborious process that must be carried out by
subject matter experts. Thus, providing high-quality reviews of this growing
number of papers is a significant challenge. In this work, we ask the question
"can we automate scientific reviewing?", discussing the possibility of using
state-of-the-art natural language processing (NLP) models to generate
first-pass peer reviews for scientific papers. Arguably the most difficult part
of this is defining what a "good" review is in the first place, so we first
discuss possible evaluation measures for such reviews. We then collect a
dataset of papers in the machine learning domain, annotate them with different
aspects of content covered in each review, and train targeted summarization
models that take in papers to generate reviews. Comprehensive experimental
results show that system-generated reviews tend to touch upon more aspects of
the paper than human-written reviews, but the generated text can suffer from
lower constructiveness for all aspects except the explanation of the core ideas
of the papers, which are largely factually correct. We finally summarize eight
challenges in the pursuit of a good review generation system together with
potential solutions, which, hopefully, will inspire more future research on
this subject. We make all code, and the dataset publicly available:
https://github.com/neulab/ReviewAdvisor, as well as a ReviewAdvisor system:
http://review.nlpedia.ai/.
- Abstract（参考訳）: 科学技術の急速な発展は、査読された科学出版物の指数関数的な成長を伴う。
同時に、各論文のレビューは、主題の専門家によって実行されなければならない面倒なプロセスです。
したがって、この増え続ける論文の質の高いレビューを提供することは、大きな課題である。
この研究では、「科学的レビューを自動化できますか?
「最先端自然言語処理(NLP)モデルを用いて,学術論文の初歩的ピアレビューを作成する可能性について論じる。
レビューの定義は間違いなく最も難しいので、まずこのようなレビューに対して可能な評価基準について論じます。
次に、機械学習領域の論文のデータセットを収集し、各レビューでカバーされるコンテンツのさまざまな側面を注釈付けし、レビューを生成するために論文に取るターゲットを絞った要約モデルを訓練します。
総合的な実験結果から, システム生成レビューは, 人間が書いたレビューよりも多くの面に接する傾向が見られたが, 生成したテキストは, 論文の核となる考えを説明することを除いて, あらゆる面において, 構成性の低下に苦しむことがある。
私たちは最終的に、良いレビュー生成システムを追求する8つの課題と潜在的なソリューションをまとめてまとめました。
すべてのコードを作成し、データセットを公開します。 https://github.com/neulab/ReviewAdvisor そしてReviewAdvisorシステムです。
関連論文リスト
- Automated Focused Feedback Generation for Scientific Writing Assistance [6.559560602099439]
SWIF$2$T:Scientific WrIting Focused Feedback Tool。
特定の、実行可能な、一貫性のあるコメントを生成し、科学論文の弱点を特定したり、修正案を提案するように設計されている。
科学的論文の弱点を引用し,300件の査読データセットを収集し,人的評価を行う。
その結果, SWIF$2$Tのフィードバックは, 他のアプローチと比較して, 特異性, 読みやすさ, 全体的な有用性を示した。
論文 参考訳（メタデータ） (2024-05-30T20:56:41Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
論文 参考訳（メタデータ） (2022-12-09T16:35:14Z) - Generating Summaries for Scientific Paper Review [29.12631698162247]
機械学習とNLPにおけるトップの会場への応募の増加は、レビュアーに過剰な負担を課す問題を引き起こしている。
レビュープロセスを支援する自動システムは、問題を改善するための解決策になり得る。
本稿では,学術論文の自動レビュー要約生成について検討する。
論文 参考訳（メタデータ） (2021-09-28T21:43:53Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Polarity in the Classroom: A Case Study Leveraging Peer Sentiment Toward
Scalable Assessment [4.588028371034406]
大規模なまたは大規模なオープンオンラインコース(MOOC)における、正確な段階的なオープンエンドの割り当ては、簡単ではない。
本稿では、ドメイン依存のレキシコンとアスペクトインフォーム化されたレビューフォームを作成するプロセスについて詳述する。
有効性を分析し、9コースから6800以上のピアレビューのコーパスから結論を議論する。
論文 参考訳（メタデータ） (2021-08-02T15:45:11Z) - ReviewRobot: Explainable Paper Review Generation based on Knowledge
Synthesis [62.76038841302741]
レビュースコアを自動的に割り当てて,新規性や意味のある比較など,複数のカテゴリのコメントを書くための,新しいReviewRobotを構築した。
実験の結果,レビュースコア予測器の精度は71.4%-100%であった。
ドメインの専門家による人間による評価は、ReviewRobotが生成したコメントの41.7%-70.5%が有効で建設的であり、その20%は人間が書いたものよりも優れていることを示している。
論文 参考訳（メタデータ） (2020-10-13T02:17:58Z) - Understanding Peer Review of Software Engineering Papers [5.744593856232663]
我々は、審査で受賞した者を含むレビュアーが、ソフトウェア工学論文のレビューをどのように行うかを理解することを目的としている。
肯定的なレビューをもたらす論文の最も重要な特徴は、明確で支持された検証、興味深い問題、そして新規性である。
著者は論文でその作品の貢献を非常に明確にすべきである。
論文 参考訳（メタデータ） (2020-09-02T17:31:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。