論文の概要: ScholarCopilot: Training Large Language Models for Academic Writing with Accurate Citations

• arxiv url: http://arxiv.org/abs/2504.00824v1
• Date: Tue, 01 Apr 2025 14:12:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:51.022328
• Title: ScholarCopilot: Training Large Language Models for Academic Writing with Accurate Citations
• Title（参考訳）: ScholarCopilot: 正確な引用による学術書記のための大規模言語モデルの訓練
• Authors: Yubo Wang, Xueguang Ma, Ping Nie, Huaye Zeng, Zhiheng Lyu, Yuxuan Zhang, Benjamin Schneider, Yi Lu, Xiang Yue, Wenhu Chen,
• Abstract要約: 我々はScholarCopilotを紹介した。ScholarCopilotは学術書記のための既存の大規模言語モデルを強化するために設計された統合フレームワークである。 ScholarCopilotは、検索トークン[RET]を生成して学術的な参照をいつ取得するかを決定し、その表現を利用してデータベースから関連する引用を検索する。 効率を上げるために、単一のフレームワーク内で生成タスクと引用タスクの両方を共同で最適化します。
• 参考スコア（独自算出の注目度）: 45.57178343138677
• License:
• Abstract: Academic writing requires both coherent text generation and precise citation of relevant literature. Although recent Retrieval-Augmented Generation (RAG) systems have significantly improved factual accuracy in general-purpose text generation, their capacity to adequately support professional academic writing remains limited. In this work, we introduce ScholarCopilot, a unified framework designed to enhance existing large language models for generating professional academic articles with accurate and contextually relevant citations. ScholarCopilot dynamically determines when to retrieve scholarly references by generating a retrieval token [RET], and then utilizes its representation to look up relevant citations from a database. The retrieved references are fed into the model to augment the generation process. We jointly optimize both the generation and citation tasks within a single framework to increase efficiency. Trained on 500K papers from arXiv, our model achieves a top-1 retrieval accuracy of 40.1% on our evaluation dataset, outperforming baselines such as E5-Mistral-7B-Instruct (15.0%) and BM25 (9.8%). On a dataset of 1,000 academic writing samples, ScholarCopilot scores 16.2/25 in generation quality (measured across relevance, coherence, academic rigor, completeness, and innovation), surpassing models with 10x more parameters such as Qwen-2.5-72B-Instruct (15.8/25). Human studies also confirm ScholarCopilot's superior performance in citation recall, writing efficiency, and overall user experience, confirming the effectiveness of our approach.
• Abstract（参考訳）: 学術的な文章は、コヒーレントなテキスト生成と関連する文学の正確な引用の両方を必要とする。 近年のRAG(Retrieval-Augmented Generation)システムでは,汎用テキスト生成における事実の精度が著しく向上しているが,学術書記を適切に支援する能力は依然として限られている。 本研究ではScholarCopilotを紹介する。ScholarCopilotは,学術論文を正確かつ文脈的に関連づけられた引用で生成するための,既存の大規模言語モデルの拡張を目的とした統合フレームワークである。 ScholarCopilotは、検索トークン[RET]を生成して学術的な参照をいつ取得するかを動的に決定し、その表現を利用してデータベースから関連する引用を検索する。 取得した参照は、生成プロセスを拡張するためにモデルに入力される。 効率を上げるために、単一のフレームワーク内で生成タスクと引用タスクの両方を共同で最適化します。 E5-Mistral-7B-Instruct (15.0%) や BM25 (9.8%) などのベースラインよりも優れている。 1000の学術文献サンプルのデータセットでは、ScholarCopilotは生成品質(関連性、コヒーレンス、学術的厳密性、完全性、革新性)が16.2/25であり、Qwen-2.5-72B-Instruct (15.8/25)のような10倍のパラメータを持つモデルを上回っている。 人間の研究は、ScholarCopilotの引用リコール、書き込み効率、全体的なユーザエクスペリエンスにおける優れたパフォーマンスも確認し、我々のアプローチの有効性を確認した。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• DocReLM: Mastering Document Retrieval with Language Model [49.847369507694154]
  本研究では,大規模言語モデルを利用することで,文書検索システムが高度な意味理解能力を実現することを実証する。 我々のアプローチは、大規模言語モデルによって生成されたドメイン固有データを用いて、検索者と再ランカを訓練することである。 我々は、量子物理学とコンピュータビジョンの分野の研究者によって注釈付けされたテストセットを使用して、システムの性能を評価する。
  論文  参考訳（メタデータ） (2024-05-19T06:30:22Z)
• KG-CTG: Citation Generation through Knowledge Graph-guided Large Language Models [35.80247519023821]
  Citation Text Generation (CTG) は、自然言語処理(NLP)において、引用された文書を正確に引用または参照することを目的としたタスクである。 本稿では,大規模言語モデル(LLM)を引用生成のタスクに活用するためのフレームワークと比較研究について述べる。
  論文  参考訳（メタデータ） (2024-04-15T13:06:32Z)
• MIReAD: Simple Method for Learning High-quality Representations from Scientific Documents [77.34726150561087]
  論文の高品質な表現を学習する簡単な方法であるMIREADを提案する。 私たちは、2000以上のジャーナルクラスで50万以上のPubMedとarXivの抽象クラスでMIREADをトレーニングします。
  論文  参考訳（メタデータ） (2023-05-07T03:29:55Z)
• CiteBench: A benchmark for Scientific Citation Text Generation [69.37571393032026]
  CiteBenchは引用テキスト生成のベンチマークである。 CiteBenchのコードはhttps://github.com/UKPLab/citebench.comで公開しています。
  論文  参考訳（メタデータ） (2022-12-19T16:10:56Z)
• How Large Language Models are Transforming Machine-Paraphrased Plagiarism [3.8768839735240737]
  本研究は, arXiv, 学生論文, ウィキペディアの科学論文において, 機械パラフレーズ生成のための T5 と GPT-3 について検討する。 6つの自動解法と1つの商用プラジャリズム検出ソフトウェアの検出性能を評価した。 人間の専門家は、GPT-3が生成したパラフレーズの質を原文よりも高く評価する。
  論文  参考訳（メタデータ） (2022-10-07T14:08:57Z)
• Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
  引用グラフを用いて科学論文の要約作業を再定義します。 我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。 我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
  論文  参考訳（メタデータ） (2021-04-07T11:13:35Z)
• Structure-Tags Improve Text Classification for Scholarly Document Quality Prediction [4.4641025448898475]
  本稿では,文書中の文の役割を示す構造タグとHANの利用を提案する。 文にタグを追加し、タイトル、抽象的、あるいは本文に対応するマークを付けると、学術的な文書品質予測のための最先端技術よりも改善される。
  論文  参考訳（メタデータ） (2020-04-30T22:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。