論文の概要: What Should I Cite? A RAG Benchmark for Academic Citation Prediction
- arxiv url: http://arxiv.org/abs/2601.14949v2
- Date: Mon, 26 Jan 2026 07:09:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:06.902685
- Title: What Should I Cite? A RAG Benchmark for Academic Citation Prediction
- Title（参考訳）: 何を食べるべきか? 学力予測のためのRAGベンチマーク
- Authors: Leqi Zheng, Jiajun Zhang, Canzhi Chen, Chaokun Wang, Hongwei Li, Yuying Li, Yaoxin Mao, Shannan Yan, Zixin Song, Zhiyuan Feng, Zhaolu Kang, Zirong Chen, Hang Zhang, Qiang Liu, Liang Wang, Ziyang Liu,
- Abstract要約: 引用予測は、学者が拡大する科学文献をナビゲートするのを助けるために、自動的に適切な参照を提案することを目的としている。
ここでは,学術的な引用予測に基づいて大規模言語モデルを評価するための,最初の総合的検索拡張世代(RAG)統合ベンチマークである textbfCiteRAG を紹介する。
- 参考スコア（独自算出の注目度）: 24.99107629089983
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid growth of Web-based academic publications, more and more papers are being published annually, making it increasingly difficult to find relevant prior work. Citation prediction aims to automatically suggest appropriate references, helping scholars navigate the expanding scientific literature. Here we present \textbf{CiteRAG}, the first comprehensive retrieval-augmented generation (RAG)-integrated benchmark for evaluating large language models on academic citation prediction, featuring a multi-level retrieval strategy, specialized retrievers, and generators. Our benchmark makes four core contributions: (1) We establish two instances of the citation prediction task with different granularity. Task 1 focuses on coarse-grained list-specific citation prediction, while Task 2 targets fine-grained position-specific citation prediction. To enhance these two tasks, we build a dataset containing 7,267 instances for Task 1 and 8,541 instances for Task 2, enabling comprehensive evaluation of both retrieval and generation. (2) We construct a three-level large-scale corpus with 554k papers spanning many major subfields, using an incremental pipeline. (3) We propose a multi-level hybrid RAG approach for citation prediction, fine-tuning embedding models with contrastive learning to capture complex citation relationships, paired with specialized generation models. (4) We conduct extensive experiments across state-of-the-art language models, including closed-source APIs, open-source models, and our fine-tuned generators, demonstrating the effectiveness of our framework. Our open-source toolkit enables reproducible evaluation and focuses on academic literature, providing the first comprehensive evaluation framework for citation prediction and serving as a methodological template for other scientific domains. Our source code and data are released at https://github.com/LQgdwind/CiteRAG.
- Abstract（参考訳）: Webベースの学術出版物が急速に成長するにつれて、毎年ますます多くの論文が出版され、関連する先行研究を見つけるのがますます困難になっている。
引用予測は、学者が拡大する科学文献をナビゲートするのを助けるために、自動的に適切な参照を提案することを目的としている。
本稿では,学術的引用予測に基づく大規模言語モデル評価のための,最初の総合的検索拡張世代(RAG)統合ベンチマークである‘textbf{CiteRAG} について述べる。
本ベンチマークでは,(1)異なる粒度を持つ引用予測タスクの2つの例を確立する。
第1タスクは、粗粒度リスト固有の引用予測に焦点を当て、第2タスクは、微粒度位置固有の引用予測を目標としている。
これら2つのタスクを強化するために,タスク1の7,267インスタンスとタスク2の8,541インスタンスを含むデータセットを構築した。
2) インクリメンタルパイプラインを用いて, 多数のサブフィールドにまたがる554kの紙を用いた3段階の大規模コーパスを構築した。
(3)提案手法は,複雑な引用関係を抽出し,特殊な生成モデルと組み合わせることを目的として,コントラスト学習を用いた多レベルハイブリッドRAG手法を提案する。
(4) クローズドソースAPI,オープンソースモデル,微調整ジェネレータなど,最先端の言語モデルにまたがる広範な実験を行い,フレームワークの有効性を実証した。
我々のオープンソースツールキットは、再現可能な評価を可能にし、学術文献に焦点を当て、引用予測のための最初の総合的な評価フレームワークを提供し、他の科学領域の方法論的テンプレートとして機能する。
ソースコードとデータはhttps://github.com/LQgdwind/CiteRAG.comで公開されています。
関連論文リスト
- Hierarchical Lexical Graph for Enhanced Multi-Hop Retrieval [22.33550491040999]
RAGは、大きな言語モデルを外部の証拠に基礎を置いているが、セマンティックに遠く離れた文書で答えをまとめなければならないと、いまだに混乱している。
私たちは、StatementGraphRAGとTopicGraphRAGという2つのプラグイン・アンド・プレイレトリバーを構築します。
提案手法は,検索リコールと正当性において平均23.1%の相対的改善を達成し,有意なチャンクベースRAGよりも優れていた。
論文 参考訳（メタデータ） (2025-06-09T17:58:35Z) - ScholarCopilot: Training Large Language Models for Academic Writing with Accurate Citations [45.57178343138677]
我々はScholarCopilotを紹介した。ScholarCopilotは学術書記のための既存の大規模言語モデルを強化するために設計された統合フレームワークである。
ScholarCopilotは、検索トークン[RET]を生成して学術的な参照をいつ取得するかを決定し、引用データベースに問い合わせる。
私たちは1つのフレームワーク内で生成タスクと引用タスクの両方を共同で最適化し、効率を向上します。
論文 参考訳（メタデータ） (2025-04-01T14:12:14Z) - TrustRAG: An Information Assistant with Retrieval Augmented Generation [73.84864898280719]
TrustRAGは、インデックス付け、検索、生成という3つの視点から、acRAGを強化する新しいフレームワークである。
我々はTrustRAGフレームワークをオープンソース化し、抜粋ベースの質問応答タスク用に設計されたデモスタジオを提供する。
論文 参考訳（メタデータ） (2025-02-19T13:45:27Z) - Modeling citation worthiness by using attention-based bidirectional long short-term memory networks and interpretable models [0.0]
本稿では,注目機構と文脈情報を備えたBidirectional Long Short-Term Memory (BiLSTM) ネットワークを提案し,引用を必要とする文を検出する。
我々は、PubMed Open Access Subsetに基づく新しい大規模データセット(PMOA-CITE)を作成します。
論文 参考訳（メタデータ） (2024-05-20T17:45:36Z) - CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。
従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。
生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
論文 参考訳（メタデータ） (2024-02-02T06:44:22Z) - CiteBench: A benchmark for Scientific Citation Text Generation [69.37571393032026]
CiteBenchは引用テキスト生成のベンチマークである。
CiteBenchのコードはhttps://github.com/UKPLab/citebench.comで公開しています。
論文 参考訳（メタデータ） (2022-12-19T16:10:56Z) - Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。
予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。
そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
論文 参考訳（メタデータ） (2022-12-08T11:53:12Z) - Enhancing Scientific Papers Summarization with Citation Graph [78.65955304229863]
引用グラフを用いて科学論文の要約作業を再定義します。
我々は,141kの研究論文を異なる領域に格納した,新しい科学論文要約データセットセマンティックスタディネットワーク(ssn)を構築した。
我々のモデルは、事前訓練されたモデルと比較して競争性能を達成することができる。
論文 参考訳（メタデータ） (2021-04-07T11:13:35Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳（メタデータ） (2020-11-06T02:23:01Z) - Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。
まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。
特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
論文 参考訳（メタデータ） (2020-10-24T14:16:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。