論文の概要: RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension

• arxiv url: http://arxiv.org/abs/2601.14289v1
• Date: Wed, 14 Jan 2026 11:37:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.074517
• Title: RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension
• Title（参考訳）: RPC-Bench: 研究論文の詳細なベンチマーク
• Authors: Yelin Chen, Fanjin Zhang, Suping Sun, Yunhe Pang, Yuanchun Wang, Jian Song, Xiaoyan Li, Lei Hou, Shu Zhao, Jie Tang, Juanzi Li,
• Abstract要約: RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
• 参考スコア（独自算出の注目度）: 65.81339691942757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding research papers remains challenging for foundation models due to specialized scientific discourse and complex figures and tables, yet existing benchmarks offer limited fine-grained evaluation at scale. To address this gap, we introduce RPC-Bench, a large-scale question-answering benchmark built from review-rebuttal exchanges of high-quality computer science papers, containing 15K human-verified QA pairs. We design a fine-grained taxonomy aligned with the scientific research flow to assess models' ability to understand and answer why, what, and how questions in scholarly contexts. We also define an elaborate LLM-human interaction annotation framework to support large-scale labeling and quality control. Following the LLM-as-a-Judge paradigm, we develop a scalable framework that evaluates models on correctness-completeness and conciseness, with high agreement to human judgment. Experiments reveal that even the strongest models (GPT-5) achieve only 68.2% correctness-completeness, dropping to 37.46% after conciseness adjustment, highlighting substantial gaps in precise academic paper understanding. Our code and data are available at https://rpc-bench.github.io/.
• Abstract（参考訳）: 研究論文の理解は、専門的な科学的談話や複雑な数字や表によって基礎モデルにとって依然として困難であるが、既存のベンチマークでは、スケールでのきめ細かい評価が限られている。 このギャップに対処するために,高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークであるRPC-Benchを紹介した。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。 また、大規模ラベリングと品質管理をサポートするための、精巧なLLM-ヒューマンインタラクションアノテーションフレームワークも定義する。 LLM-as-a-Judgeのパラダイムに従えば、人間の判断に高い同意を得て、正確性と簡潔性に関するモデルを評価するスケーラブルなフレームワークを開発する。 実験の結果、最強モデル(GPT-5)でさえ68.2%の正当性しか達成せず、簡潔さ調整後に37.46%に低下し、正確な学術論文の理解においてかなりのギャップを浮き彫りにした。 私たちのコードとデータはhttps://rpc-bench.github.io/.com/で公開されています。

関連論文リスト

• SciCoQA: Quality Assurance for Scientific Paper--Code Alignment [53.70401063640645]
  SciCoQAは,学術出版物と論文の相違を検出するためのデータセットである。 我々のデータセットは611の紙コード不一致(81のリアル、530の合成)で構成されており、様々な計算科学分野にまたがっている。 評価における最高の性能モデルである GPT-5 は、実世界の紙コード差の45.7%しか検出できない。
  論文  参考訳（メタデータ） (2026-01-19T10:04:33Z)
• SurGE: A Benchmark and Evaluation Framework for Scientific Survey Generation [37.921524136479825]
  SurGE(Survey Generation Evaluation)は、コンピュータ科学における科学的サーベイ生成の新しいベンチマークである。 SurGEは,(1)トピック記述,専門家による調査,(2)100万以上の論文からなる大規模学術コーパスを含む,一連のテストインスタンスから構成される。 さらに,4次元にわたって生成した調査の質を計測する自動評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:45:10Z)
• XtraGPT: Context-Aware and Controllable Academic Paper Revision [43.263488839387584]
  本稿では,基準誘導型意図アライメントと文脈認識モデリングを中心とした学術論文改訂のための人間-AI協調フレームワークを提案する。 XtraGPTは,コンテクスト対応,命令誘導型書き込み支援のためのオープンソースのLLMスイートである。
  論文  参考訳（メタデータ） (2025-05-16T15:02:19Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• Scalable Learning of Item Response Theory Models [48.91265296134559]
  項目応答理論(IRT)モデルは、分類データから、$m$テスト項目の遅延困難特性とともに、$n$試験の潜時能力を評価することを目的としている。 我々はこれらのモデルの類似性をロジスティック回帰に利用し、コアセットと呼ばれる小さな重み付き部分集合を用いて正確に近似することができる。
  論文  参考訳（メタデータ） (2024-03-01T17:12:53Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。