論文の概要: ResearchGPT: Benchmarking and Training LLMs for End-to-End Computer Science Research Workflows

• arxiv url: http://arxiv.org/abs/2510.20279v2
• Date: Fri, 24 Oct 2025 03:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.330666
• Title: ResearchGPT: Benchmarking and Training LLMs for End-to-End Computer Science Research Workflows
• Title（参考訳）: ResearchGPT: エンドツーエンドのコンピュータサイエンス研究ワークフローのためのLLMのベンチマークとトレーニング
• Abstract要約: CS-54k(CS-54k)は、コンピュータ科学におけるQ&Aペアの高品質なコーパスである。 CS-4kは、科学研究を支援するAIの能力を評価するためのベンチマークである。 CS-50kは大規模なトレーニングデータセットである。
• 参考スコア（独自算出の注目度）: 109.34792911044394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models (LLMs) advance, the ultimate vision for their role in science is emerging: we could build an AI collaborator to effectively assist human beings throughout the entire scientific research process. We refer to this envisioned system as ResearchGPT. Given that scientific research progresses through multiple interdependent phases, achieving this vision requires rigorous benchmarks that evaluate the end-to-end workflow rather than isolated sub-tasks. To this end, we contribute CS-54k, a high-quality corpus of scientific Q&A pairs in computer science, built from 14k CC-licensed papers. It is constructed through a scalable, paper-grounded pipeline that combines retrieval-augmented generation (RAG) with multi-stage quality control to ensure factual grounding. From this unified corpus, we derive two complementary subsets: CS-4k, a carefully curated benchmark for evaluating AI's ability to assist scientific research, and CS-50k, a large-scale training dataset. Extensive experiments demonstrate that CS-4k stratifies state-of-the-art LLMs into distinct capability tiers. Open models trained on CS-50k with supervised training and reinforcement learning demonstrate substantial improvements. Even 7B-scale models, when properly trained, outperform many larger proprietary systems, such as GPT-4.1, GPT-4o, and Gemini 2.5 Pro. This indicates that making AI models better research assistants relies more on domain-aligned training with high-quality data than on pretraining scale or general benchmark performance. We release CS-4k and CS-50k in the hope of fostering AI systems as reliable collaborators in CS research.
• Abstract（参考訳）: 大きな言語モデル(LLM)が進むにつれ、科学における彼らの役割に対する究極のビジョンが生まれつつある。 我々は、この構想されたシステムをResearchGPTと呼ぶ。 科学的研究が複数の相互依存フェーズを通じて進行していることを考えると、このビジョンを達成するには、分離されたサブタスクではなく、エンドツーエンドのワークフローを評価する厳密なベンチマークが必要である。 この目的のために,コンピュータ科学におけるQ&Aペアの高品質コーパスであるCS-54kを14kのCCライセンス論文から作成する。 これは、検索拡張世代(RAG)とマルチステージ品質制御を組み合わせた、スケーラブルで紙張りのパイプラインによって構築され、事実上の接地を保証する。 この統合コーパスから、科学研究を支援するAIの能力を評価するために慎重にキュレートされたベンチマークであるCS-4kと、大規模なトレーニングデータセットであるCS-50kの2つの補完的なサブセットを導出します。 CS-4kは、最先端のLCMを異なる能力層に成層することを示した。 CS-50kで訓練されたオープンモデルは、教師付きトレーニングと強化学習によって大幅に改善された。 適切に訓練された7Bスケールのモデルでさえ、GPT-4.1、GPT-4o、Gemini 2.5 Proなど多くの大型のプロプライエタリシステムより優れていた。 このことは、AIモデルをより良い研究アシスタントにすることは、事前トレーニングスケールや一般的なベンチマークパフォーマンスよりも、高品質なデータによるドメイン整合トレーニングに依存していることを示している。 我々は,CS研究における信頼性の高い協力者としてのAIシステムの育成を目指して,CS-4kとCS-50kをリリースする。

関連論文リスト

• ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
  ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。 エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。 ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
  論文  参考訳（メタデータ） (2026-09-11T17:18:04Z)
• The Rise of AI-Native Software Engineering: Implications for Practice, Education, and the Future Workforce [0.0]
  Generative Artificial Intelligence (GenAI)、Large Language Models (LLM)、そして出現するAgentic AIは、ソフトウェア工学史上最も破壊的な変革である。 本稿は、48の検証された影響力のある査読論文を体系的にレビューする。
  論文  参考訳（メタデータ） (2026-06-11T07:23:49Z)
• AI Co-Scientist for Ranking: Discovering Novel Search Ranking Models alongside LLM-based AI Agents with Cloud Computing Access [60.37646376282544]
  本稿では,全検索ランキング研究パイプラインを自動化したAI共同科学者フレームワークを提案する。 これは、AIの共同科学者フレームワークをアルゴリズム研究に利用した、ランキングコミュニティで初めての研究である。
  論文  参考訳（メタデータ） (2026-03-23T09:29:08Z)
• KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
  本稿では,強化学習による企業検索エージェントの訓練システムを提案する。 KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。 異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2026-03-05T14:30:25Z)
• InternAgent-1.5: A Unified Agentic Framework for Long-Horizon Autonomous Scientific Discovery [138.0404718571971]
  InternAgent-1.5は、エンドツーエンドの科学的発見を目的とした統合システムである。 このシステムは、生成、検証、進化のための3つの調整されたサブシステムで構成される構造化アーキテクチャ上に構築されている。 InternAgent-1.5をGAIA,HLE,GPQA,FrontierScienceなどの科学的推論ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-02-09T18:36:06Z)
• APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay [86.01901238059261]
  APIGen-MTは検証可能で多様なマルチターンエージェントデータを生成するフレームワークである。 xLAM-2-fc-r 級数で 1B から 70B のパラメータを持つモデル群を訓練する。 我々のモデルは、$tau$-benchとBFCLベンチマークでGPT-4oやClaude 3.5のようなフロンティアモデルより優れている。
  論文  参考訳（メタデータ） (2025-04-04T17:13:57Z)
• How Well Can AI Build SD Models? [0.0]
  本稿では,AI生成因果写像の評価のための2つの指標について紹介する。 我々は,11種類のLDMを,因果翻訳の能力とユーザの指示に適合する能力で試験した。
  論文  参考訳（メタデータ） (2025-03-19T14:48:47Z)
• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• CycleResearcher: Improving Automated Research via Automated Review [37.03497673861402]
  本稿では,オープンソースの後学習型大規模言語モデル(LLM)を,自動研究とレビューの全サイクルを遂行する自律エージェントとして活用する可能性について検討する。 これらのモデルをトレーニングするために、現実の機械学習研究とピアレビューダイナミクスを反映した2つの新しいデータセットを開発した。 その結果,CycleReviewerは平均絶対誤差(MAE)を26.89%削減して有望な性能を達成できた。
  論文  参考訳（メタデータ） (2024-10-28T08:10:21Z)
• Evaluating Large Language Models on the GMAT: Implications for the Future of Business Education [0.13654846342364302]
  本研究では,7大言語モデル(LLM)の性能評価を行う最初のベンチマークを紹介する。 GPT-4 Turboは他のモデルよりも優れているだけでなく、トップビジネススクールの大学院生の平均スコアを上回っている。 教育、評価、教育におけるAIの約束は明確だが、課題は残る。
  論文  参考訳（メタデータ） (2024-01-02T03:54:50Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)
• Large-scale learning of generalised representations for speaker recognition [52.978310296712834]
  多様なシナリオで使用される話者認識モデルを開発した。 いくつかの既存のデータセットを組み合わせた新しいトレーニングデータ構成について検討する。 帰納バイアスの少ない MFA-Conformer が最良を一般化する。
  論文  参考訳（メタデータ） (2022-10-20T03:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。