論文の概要: Mapping the Increasing Use of LLMs in Scientific Papers
- arxiv url: http://arxiv.org/abs/2404.01268v1
- Date: Mon, 1 Apr 2024 17:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 21:26:33.421271
- Title: Mapping the Increasing Use of LLMs in Scientific Papers
- Title(参考訳): 学術論文におけるLCMの利用増加の地図化
- Authors: Weixin Liang, Yaohui Zhang, Zhengxuan Wu, Haley Lepp, Wenlong Ji, Xuandong Zhao, Hancheng Cao, Sheng Liu, Siyu He, Zhi Huang, Diyi Yang, Christopher Potts, Christopher D Manning, James Y. Zou,
- Abstract要約: 2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。
計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
- 参考スコア(独自算出の注目度): 99.67983375899719
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Scientific publishing lays the foundation of science by disseminating research findings, fostering collaboration, encouraging reproducibility, and ensuring that scientific knowledge is accessible, verifiable, and built upon over time. Recently, there has been immense speculation about how many people are using large language models (LLMs) like ChatGPT in their academic writing, and to what extent this tool might have an effect on global scientific practices. However, we lack a precise measure of the proportion of academic writing substantially modified or produced by LLMs. To address this gap, we conduct the first systematic, large-scale analysis across 950,965 papers published between January 2020 and February 2024 on the arXiv, bioRxiv, and Nature portfolio journals, using a population-level statistical framework to measure the prevalence of LLM-modified content over time. Our statistical estimation operates on the corpus level and is more robust than inference on individual instances. Our findings reveal a steady increase in LLM usage, with the largest and fastest growth observed in Computer Science papers (up to 17.5%). In comparison, Mathematics papers and the Nature portfolio showed the least LLM modification (up to 6.3%). Moreover, at an aggregate level, our analysis reveals that higher levels of LLM-modification are associated with papers whose first authors post preprints more frequently, papers in more crowded research areas, and papers of shorter lengths. Our findings suggests that LLMs are being broadly used in scientific writings.
- Abstract(参考訳): 科学出版は、研究成果を広め、協力を奨励し、再現性を奨励し、科学的知識がアクセス可能で、検証可能で、時間とともに構築されることによって科学の基礎を築き上げている。
最近、ChatGPTのような大規模言語モデル(LLM)を学術的な執筆で何人が使っているのか、そしてこのツールが地球規模の科学的実践にどの程度影響するか、という憶測が飛び交っている。
しかし,本研究では,LLMによって実質的に修正あるいは生産された学術書面の割合の正確な測定方法が欠如している。
このギャップに対処するため、2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオ誌に掲載された950,965件の論文を、人口統計学的枠組みを用いて、LLM修正コンテンツの頻度を経時的に測定した。
我々の統計的推定はコーパスレベルで動作し、個々のインスタンスの推測よりも堅牢である。
計算機科学の論文(最大17.5%)では,LLMの使用が着実に増加し,最も多く,最も速い成長が見られた。
一方、数学論文とNatureのポートフォリオでは、LLMの修正は最も少ない(最大6.3%)。
さらに,総括レベルでは,LCM修正の高度化は,先行印刷がより頻繁に投稿される論文や,より混み合った研究領域の論文,短い期間の論文に関連していることが明らかとなった。
以上の結果から, LLMは科学文献に広く用いられていることが示唆された。
関連論文リスト
- LLMs as Research Tools: A Large Scale Survey of Researchers' Usage and Perceptions [20.44227547555244]
大規模言語モデル (LLMs) は、多くの研究者が科学的な研究に利用することを検討している。
筆者らによる816件の研究論文の大規模調査を行った。
81%の研究者がすでにLLMを研究ワークフローのさまざまな側面に組み込んでいることがわかった。
論文 参考訳(メタデータ) (2024-10-30T04:25:23Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2024-06-24T01:30:22Z) - A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。
我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
論文 参考訳(メタデータ) (2024-06-16T08:03:24Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [80.49349719239584]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning, SciRIFF)は、54のタスクに対して137Kの命令追従デモのデータセットである。
SciRIFFは、幅広い科学分野の研究文献から情報を抽出し、合成することに焦点を当てた最初のデータセットである。
論文 参考訳(メタデータ) (2024-06-10T21:22:08Z) - Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。
LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文 参考訳(メタデータ) (2024-02-09T05:37:09Z) - Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。
LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。
AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
論文 参考訳(メタデータ) (2024-01-26T05:33:34Z) - An Interdisciplinary Outlook on Large Language Models for Scientific
Research [3.4108358650013573]
本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。
本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。
LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
論文 参考訳(メタデータ) (2023-11-03T19:41:09Z) - NLLG Quarterly arXiv Report 06/23: What are the most influential current
AI Papers? [15.830129136642755]
目的は、最も関連性があり広く議論されている研究のクイックガイドを提供することであり、新参者や確立された研究者が現在の傾向を振り返り続けるのを助けることである。
我々は2023年前半に,大規模言語モデル(LLM),特にChatGPTに関連する論文の優位性を観察した。
NLP関連の論文は、私たちのデータにはML関連の論文の2倍の数の論文があるにもかかわらず、最も影響力がある(トップ論文の約60%)。
論文 参考訳(メタデータ) (2023-07-31T11:53:52Z) - A Bibliometric Review of Large Language Models Research from 2017 to
2023 [1.4190701053683017]
LLM(Large Language Model)は、自然言語処理(NLP)タスクにおいて優れた性能を示す言語モデルである。
本稿は,LLM研究の現在の姿を知るための研究者,実践者,政策立案者のロードマップとして機能する。
論文 参考訳(メタデータ) (2023-04-03T21:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。