論文の概要: ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews
- arxiv url: http://arxiv.org/abs/2306.12587v2
- Date: Tue, 6 Aug 2024 02:02:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 19:51:34.509548
- Title: ARIES: A Corpus of Scientific Paper Edits Made in Response to Peer Reviews
- Title(参考訳): ARIES:ピーアレビューに応えて作られた学術論文のコーパス
- Authors: Mike D'Arcy, Alexis Ross, Erin Bransom, Bailey Kuehl, Jonathan Bragg, Tom Hope, Doug Downey,
- Abstract要約: 我々は、ピアフィードバックに基づいて科学論文を自動修正するタスクを導入する。
著者が作成した特定の論文にレビュアーコメントをリンクするラベルを提供する。
アートの状態をカバーした10のモデルを用いた実験では、どの編集がコメントに対応するかを特定するのに苦労していることがわかった。
- 参考スコア(独自算出の注目度): 36.76200047558003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the task of automatically revising scientific papers based on peer feedback and release ARIES, a dataset of review comments and their corresponding paper edits. The data is drawn from real reviewer-author interactions from computer science, and we provide labels linking each reviewer comment to the specific paper edits made by the author in response. We automatically create a high-precision silver training set, as well as an expert-labeled test set that shows high inter-annotator agreement. In experiments with 10 models covering the state of the art, we find that they struggle even to identify which edits correspond to a comment -- especially when the relationship between the edit and the comment is indirect and requires reasoning to uncover. We also extensively analyze GPT-4's ability to generate edits given a comment and the original paper. We find that it often succeeds on a superficial level, but tends to rigidly follow the wording of the feedback rather than the underlying intent, and lacks technical details compared to human-written edits.
- Abstract(参考訳): 本稿では,学術論文をピアフィードバックに基づいて自動的に改訂し,レビューコメントとそれに対応する論文編集のデータセットであるARIESをリリースするタスクを紹介する。
このデータは,コンピュータ科学からの実際のレビュアーと著者のインタラクションから抽出され,著者が作成した特定の論文編集に,各レビュアーのコメントをリンクするラベルを提供する。
高精度な銀のトレーニングセットと、アノテータ間の高い合意を示す専門家ラベル付きテストセットを自動的に作成する。
最先端をカバーしている10のモデルを用いた実験では、どの編集がコメントに対応するのかを特定するのに苦労していることが分かりました。
また,GPT-4によるコメントと原論文の編集能力についても詳細に分析した。
表層レベルでは成功することが多いが、根底にある意図よりもフィードバックの言葉に固執する傾向があり、人間による編集に比べて技術的な詳細が欠けている。
関連論文リスト
- Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳(メタデータ) (2024-05-31T21:19:09Z) - Automated Focused Feedback Generation for Scientific Writing Assistance [6.559560602099439]
SWIF$2$T:Scientific WrIting Focused Feedback Tool。
特定の、実行可能な、一貫性のあるコメントを生成し、科学論文の弱点を特定したり、修正案を提案するように設計されている。
科学的論文の弱点を引用し,300件の査読データセットを収集し,人的評価を行う。
その結果, SWIF$2$Tのフィードバックは, 他のアプローチと比較して, 特異性, 読みやすさ, 全体的な有用性を示した。
論文 参考訳(メタデータ) (2024-05-30T20:56:41Z) - CASIMIR: A Corpus of Scientific Articles enhanced with Multiple Author-Integrated Revisions [7.503795054002406]
本稿では,学術論文の執筆過程の改訂段階について,原文資料を提案する。
この新しいデータセットはCASIMIRと呼ばれ、OpenReviewの15,646の科学論文の改訂版とピアレビューを含んでいる。
論文 参考訳(メタデータ) (2024-03-01T03:07:32Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - To Revise or Not to Revise: Learning to Detect Improvable Claims for
Argumentative Writing Support [20.905660642919052]
特定の修正が必要な議論的クレームを特定するための主な課題について検討する。
本稿では,リビジョン距離に基づく新しいサンプリング戦略を提案する。
文脈情報とドメイン知識を用いることで、予測結果をさらに改善できることを示す。
論文 参考訳(メタデータ) (2023-05-26T10:19:54Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳(メタデータ) (2023-05-24T02:33:35Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳(メタデータ) (2022-09-27T12:26:05Z) - PEER: A Collaborative Language Model [70.11876901409906]
PEER(コラボレーティブ言語モデル)は,記述プロセス全体を模倣した言語モデルである。
PEERは、ドラフトの作成、提案の追加、編集の提案、アクションの説明を提供することができる。
PEERは様々な領域にまたがって高い性能を示し,編集作業を行う。
論文 参考訳(メタデータ) (2022-08-24T16:56:47Z) - Memory-Based Model Editing at Scale [102.28475739907498]
既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。
SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。
SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
論文 参考訳(メタデータ) (2022-06-13T23:40:34Z) - Read, Revise, Repeat: A System Demonstration for Human-in-the-loop
Iterative Text Revision [11.495407637511878]
本稿では,リピート・リバイス・リピート・リピート・リピート (R3) によるヒューマン・イン・ザ・ループ・イテレーティブ・テキスト・リフレクションシステムを提案する。
R3は、モデル生成のリビジョンとユーザからのフィードバックを読み、文書を改訂し、人間と機械の相互作用を繰り返すことで、人間の最小限の努力で高品質なテキストリビジョンを実現することを目的としている。
論文 参考訳(メタデータ) (2022-04-07T18:33:10Z) - Understanding Iterative Revision from Human-Written Text [10.714872525208385]
IteraTeRは、反復的に修正されたテキストの最初の大規模、複数ドメイン、編集意図の注釈付きコーパスである。
テキストのリビジョンプロセスをよりよく理解し、編集意図と執筆品質の間に重要なつながりを築き上げます。
論文 参考訳(メタデータ) (2022-03-08T01:47:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。