論文の概要: ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews
- arxiv url: http://arxiv.org/abs/2306.12587v2
- Date: Tue, 6 Aug 2024 02:02:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:51:34.509548
- Title: ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews
- Title（参考訳）: ARIES:ピーアレビューに応えて作られた学術論文のコーパス
- Authors: Mike D'Arcy, Alexis Ross, Erin Bransom, Bailey Kuehl, Jonathan Bragg, Tom Hope, Doug Downey,
- Abstract要約: 我々は、ピアフィードバックに基づいて科学論文を自動修正するタスクを導入する。
著者が作成した特定の論文にレビュアーコメントをリンクするラベルを提供する。
アートの状態をカバーした10のモデルを用いた実験では、どの編集がコメントに対応するかを特定するのに苦労していることがわかった。
- 参考スコア（独自算出の注目度）: 36.76200047558003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the task of automatically revising scientific papers based on peer feedback and release ARIES, a dataset of review comments and their corresponding paper edits. The data is drawn from real reviewer-author interactions from computer science, and we provide labels linking each reviewer comment to the specific paper edits made by the author in response. We automatically create a high-precision silver training set, as well as an expert-labeled test set that shows high inter-annotator agreement. In experiments with 10 models covering the state of the art, we find that they struggle even to identify which edits correspond to a comment -- especially when the relationship between the edit and the comment is indirect and requires reasoning to uncover. We also extensively analyze GPT-4's ability to generate edits given a comment and the original paper. We find that it often succeeds on a superficial level, but tends to rigidly follow the wording of the feedback rather than the underlying intent, and lacks technical details compared to human-written edits.
- Abstract（参考訳）: 本稿では,学術論文をピアフィードバックに基づいて自動的に改訂し,レビューコメントとそれに対応する論文編集のデータセットであるARIESをリリースするタスクを紹介する。
このデータは,コンピュータ科学からの実際のレビュアーと著者のインタラクションから抽出され,著者が作成した特定の論文編集に,各レビュアーのコメントをリンクするラベルを提供する。
高精度な銀のトレーニングセットと、アノテータ間の高い合意を示す専門家ラベル付きテストセットを自動的に作成する。
最先端をカバーしている10のモデルを用いた実験では、どの編集がコメントに対応するのかを特定するのに苦労していることが分かりました。
また,GPT-4によるコメントと原論文の編集能力についても詳細に分析した。
表層レベルでは成功することが多いが、根底にある意図よりもフィードバックの言葉に固執する傾向があり、人間による編集に比べて技術的な詳細が欠けている。
関連論文リスト
- The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
質問応答アプリケーションにおけるモデル編集の有効性について検討する。
単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。
本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
論文 参考訳（メタデータ） (2025-02-16T15:57:55Z) - SEAGraph: Unveiling the Whole Story of Paper Review Comments [26.39115060771725]
従来のピアレビュープロセスでは、著者は曖昧または不十分な詳細なフィードバックを受け取ることが多い。
これにより、著者によるレビューコメントの理解を深める方法について、批判的な疑問が持ち上がる。
提案するSEAGraphは,レビューの意図を明らかにすることによって,レビューコメントを明確にするための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-12-16T16:24:36Z) - Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳（メタデータ） (2024-05-31T21:19:09Z) - CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳（メタデータ） (2024-03-01T03:07:32Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z) - Beyond the Chat: Executable and Verifiable Text-Editing with LLMs [87.84199761550634]
近年,Large Language Models (LLMs) を利用した会話インタフェースが,文書編集時にフィードバックを得る手段として人気になっている。
InkSyncは、編集中のドキュメント内で直接実行可能な編集を推奨する編集インターフェースである。
論文 参考訳（メタデータ） (2023-09-27T00:56:17Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - Understanding Iterative Revision from Human-Written Text [10.714872525208385]
IteraTeRは、反復的に修正されたテキストの最初の大規模、複数ドメイン、編集意図の注釈付きコーパスである。
テキストのリビジョンプロセスをよりよく理解し、編集意図と執筆品質の間に重要なつながりを築き上げます。
論文 参考訳（メタデータ） (2022-03-08T01:47:42Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳（メタデータ） (2020-06-05T07:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。