論文の概要: Can large language models provide useful feedback on research papers? A large-scale empirical analysis

• arxiv url: http://arxiv.org/abs/2310.01783v1
• Date: Tue, 3 Oct 2023 04:14:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:49:30.739032
• Title: Can large language models provide useful feedback on research papers? A large-scale empirical analysis
• Title（参考訳）: 大規模言語モデルは研究論文に有用なフィードバックを提供できるか? 大規模実証分析
• Authors: Weixin Liang, Yuhui Zhang, Hancheng Cao, Binglu Wang, Daisy Ding, Xinyu Yang, Kailas Vodrahalli, Siyu He, Daniel Smith, Yian Yin, Daniel McFarland, James Zou
• Abstract要約: 高品質なピアレビューは入手がますます困難になっている。 GPT-4のような大規模言語モデル(LLM)のブレークスルーにより、科学的なフィードバックを得るためにLLMを使うことへの関心が高まっている。 我々はGPT-4を用いた自動パイプラインを作成し、科学論文の全PDFにコメントを提供した。
• 参考スコア（独自算出の注目度）: 38.905758846360435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expert feedback lays the foundation of rigorous research. However, the rapid growth of scholarly production and intricate knowledge specialization challenge the conventional scientific feedback mechanisms. High-quality peer reviews are increasingly difficult to obtain. Researchers who are more junior or from under-resourced settings have especially hard times getting timely feedback. With the breakthrough of large language models (LLM) such as GPT-4, there is growing interest in using LLMs to generate scientific feedback on research manuscripts. However, the utility of LLM-generated feedback has not been systematically studied. To address this gap, we created an automated pipeline using GPT-4 to provide comments on the full PDFs of scientific papers. We evaluated the quality of GPT-4's feedback through two large-scale studies. We first quantitatively compared GPT-4's generated feedback with human peer reviewer feedback in 15 Nature family journals (3,096 papers in total) and the ICLR machine learning conference (1,709 papers). The overlap in the points raised by GPT-4 and by human reviewers (average overlap 30.85% for Nature journals, 39.23% for ICLR) is comparable to the overlap between two human reviewers (average overlap 28.58% for Nature journals, 35.25% for ICLR). The overlap between GPT-4 and human reviewers is larger for the weaker papers. We then conducted a prospective user study with 308 researchers from 110 US institutions in the field of AI and computational biology to understand how researchers perceive feedback generated by our GPT-4 system on their own papers. Overall, more than half (57.4%) of the users found GPT-4 generated feedback helpful/very helpful and 82.4% found it more beneficial than feedback from at least some human reviewers. While our findings show that LLM-generated feedback can help researchers, we also identify several limitations.
• Abstract（参考訳）: 専門家のフィードバックは厳格な研究の基礎となる。 しかし、学術的生産の急速な成長と複雑な知識専門化は、従来の科学的フィードバック機構に挑戦する。 高品質なピアレビューは入手がますます困難になっている。 より若く、あるいはリソース不足の環境では、特にタイムリーなフィードバックを得ることが難しい。 GPT-4のような大規模言語モデル(LLM)のブレークスルーにより、研究用原稿の科学的フィードバックを得るためにLLMを使うことへの関心が高まっている。 しかし、LLM生成フィードバックの有用性は体系的に研究されていない。 このギャップに対処するため、GPT-4を用いた自動パイプラインを作成し、科学論文の全PDFにコメントを提供した。 GPT-4のフィードバックの質を2つの大規模研究を通して評価した。 まず,GPT-4が生成したフィードバックと人間のピアレビュアーのフィードバックを,Nature family journals(計3,096論文)とICLR Machine Learning Conference(1,709論文)で比較した。 GPT-4と人間レビュアーによる点の重複(Nature誌では平均30.85%、ICLRでは39.23%)は、2人の人間レビュアーの重複に匹敵する(Nature誌では平均28.58%、ICLRでは35.25%)。 GPT-4とヒトレビュアーの重複は、より弱い論文では大きい。 次に,米国110機関から308名の研究者を対象に,aiと計算生物学の分野の研究者を対象に,gpt-4システムによって生成されたフィードバックを研究者自身がどのように認識するかに関する有望なユーザ調査を行った。 全体の半数以上(57.4%)が GPT-4 のフィードバックは有益であり、82.4%は少なくとも一部の人間レビュアーからのフィードバックよりも有益であると回答した。 LLMによるフィードバックは研究者の助けになるが、いくつかの限界も見出す。

関連論文リスト

• OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs [151.79792315631965]
  我々は,4500万件のオープンアクセス論文と引用支援の回答を関連づけることで,科学的クエリに答える特殊な検索拡張LMであるOpenScholarを紹介した。 ScholarQABench では OpenScholar-8B が GPT-4o を5%、PaperQA2 を7% 上回っている。 OpenScholarのデータストア、レトリバー、セルフフィードバック推論ループも、既製のLMを改善している。
  論文  参考訳（メタデータ） (2024-11-21T15:07:42Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。 SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• REASONS: A benchmark for REtrieval and Automated citationS Of scieNtific Sentences using Public and Proprietary LLMs [41.64918533152914]
  本研究では,大言語モデル(LLM)が2種類の文クエリに基づいて参照を生成することができるかどうかを検討する。 約20万件の研究論文から, 公立及びプロプライエタリなLCMについて, 以下を引用する。 本研究は,自動引用生成タスクにおけるRAGの信頼性に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-05-03T16:38:51Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• MARG: Multi-Agent Review Generation for Scientific Papers [28.78019426139167]
  内部議論に携わる複数のLLMインスタンスを用いたフィードバック生成手法であるMARGを開発した。 エージェント間で紙テキストを分散することにより、MARGはベースLLMの入力長制限を超えて、論文の全文を消費することができる。 ユーザスタディでは、GPT-4を用いたベースラインメソッドは、ジェネリックコメントや非常にジェネリックコメントを半分以上の時間で生成するものとして評価された。 本システムでは, GPT-4による具体的なフィードバック生成能力を大幅に向上させ, 一般的なコメントの率を60%から29%に削減し, 紙あたり3.7の良質なコメントを生成する(2.2倍)。
  論文  参考訳（メタデータ） (2024-01-08T22:24:17Z)
• GPT vs Human for Scientific Reviews: A Dual Source Review on Applications of ChatGPT in Science [1.8434042562191815]
  我々は、人間レビュアーと大規模な言語モデルSciSpaceによってレビューされた、異なる科学領域にわたる13のGPT関連論文について考察する。 客観的質問に対するSciSpaceの回答の50%は、人間レビュアーの回答と一致していることがわかった。 主観的質問では、非インフォームド評価器は、SciSpaceと人間の反応の異なる好みを示した。
  論文  参考訳（メタデータ） (2023-12-05T21:41:52Z)
• Prometheus: Inducing Fine-grained Evaluation Capability in Language Models [66.12432440863816]
  我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。 プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。 Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
  論文  参考訳（メタデータ） (2023-10-12T16:50:08Z)
• Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts [21.150221839202878]
  大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。 人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-08-21T01:32:45Z)
• GPT4 is Slightly Helpful for Peer-Review Assistance: A Pilot Study [0.0]
  GPT4はピアレビュープロセスを支援するために開発された。 大規模な機械学習会議に提出された学術論文の人間レビュアーとGPTモデルによるレビューを比較することにより、人工知能がピアレビュープロセスに効果的に貢献できるという最初の証拠を提供する。
  論文  参考訳（メタデータ） (2023-06-16T23:11:06Z)
• Is GPT-4 a Good Data Analyst? [67.35956981748699]
  我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。 我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。 実験の結果, GPT-4はヒトに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-24T11:26:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。