論文の概要: SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation
- arxiv url: http://arxiv.org/abs/2607.19104v1
- Date: Tue, 21 Jul 2026 13:46:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.437479
- Title: SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation
- Title（参考訳）: SciCodePile: 128GBコーパスと実行可能なベンチマークによる科学コード生成
- Abstract要約: 我々は37,737のパブリックリポジトリから構築された,これまでで最大の科学コードコーパスであるSciCodePileを紹介する。
我々は,プレフィックス・トゥ・サフィックス・コンプリート,ミドル・イン・ザ・ミドル・インフィリング,実行可能コード生成という3つのタスクで15の大規模言語モデル(LLM)を評価する。
- 参考スコア（独自算出の注目度）: 10.98670245879463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) excel at general-purpose code generation, yet how well they handle scientific code remains an open question. Existing datasets and benchmarks are limited in scale, domain coverage, or executable verification, leaving the true gap between current LLMs and reliable scientific code generators inadequately assessed. To address these limitations, we present SciCodePile, the largest scientific code corpus to date, constructed from 37,737 public repositories and collectively comprising 128GB of code that spans multiple computational science disciplines. From this corpus, we further curate an executable benchmark of 200 tasks, each equipped with a sandboxed execution environment and an automated test harness for functional verification. We evaluate 15 LLMs from both open-source and closed-source families on three tasks: prefix-to-suffix completion, fill-in-the-middle infilling, and executable code generation. Results show that scientific code generation remains highly challenging: The best CodeBLEU reaches only 38.13 and 38.37 on the two completion tasks, while the strongest model achieves just 12.30\% Pass@1 on the executable benchmark, underscoring how far current models remain from reliable scientific code generation. To demonstrate the training utility of SciCodePile, we further show that continued pretraining on our corpus improves CodeBLEU by $\times$2.84 on scientific code completion, and instruction tuning on our data improves Pass@1 by $\times$4.79 on the executable benchmark. All code and data are available at https://huggingface.co/SciCodePile.
- Abstract（参考訳）: 大きな言語モデル(LLM)は汎用コード生成に優れていますが、科学的コードがどのようにうまく処理するかは未解決の問題です。
既存のデータセットとベンチマークは、スケール、ドメインカバレッジ、実行可能検証に限られており、現在のLLMと信頼性のある科学的コード生成装置の間の真のギャップは不十分である。
これらの制限に対処するために、37,737のパブリックリポジトリから構築され、複数の計算科学分野にまたがる128GBのコードからなる、これまでで最大の科学コードコーパスであるSciCodePileを紹介します。
このコーパスから、サンドボックス化された実行環境と機能検証のための自動テストハーネスを備えた200のタスクの実行可能なベンチマークを更にキュレートする。
我々は,オープンソースとクローズドソースのいずれのファミリーからも,プレフィックス・トゥ・サフィックス・コンプリート,フィリング・イン・ザ・ミドル・インフィル,実行可能コード生成という3つのタスクで15のLCMを評価した。
最高のCodeBLEUは2つの完了タスクで38.13と38.37にしか達せず、最強のモデルは実行可能ベンチマークで12.30\% Pass@1に留まり、現在のモデルが信頼できる科学的コード生成からどれだけ遠いかを示している。
SciCodePileのトレーニングユーティリティを実証するために、私たちのコーパスでの事前トレーニングが科学的なコード補完において$\times$2.84で改善され、我々のデータへのチューニングが実行可能なベンチマークで$\times$4.79で改善されたことを示す。
すべてのコードとデータはhttps://huggingface.co/SciCodePile.comで入手できる。
関連論文リスト
- Evaluating and Achieving Controllable Code Completion in Code LLM [89.64782747840225]
命令誘導型コード補完ベンチマークである制御可能コード補完ベンチマーク(C3-Bench)を提案する。
コード補完作業中に,オープンソースのプロプライエタリモデルと高度なプロプライエタリモデルの間に,命令追従機能にかなりのギャップがあることを明らかにする。
結果として得られたQwen2.5-Coder-C3は、C3-Bench上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-22T11:40:04Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - VERINA: Benchmarking Verifiable Code Generation [46.582574591358735]
大規模言語モデル(LLM)は、ソフトウェア開発にますます統合されている。
LLM生成コードの正確性を保証することは依然として困難である。
検証可能なコード生成は、この制限に対処するための有望なパスを提供する。
論文 参考訳（メタデータ） (2025-05-29T06:12:52Z) - CODESYNC: Synchronizing Large Language Models with Dynamic Code Evolution at Scale [39.54772602678732]
本稿では,古いコードパターンを識別するデータエンジンであるCODESYNCを紹介する。
CODESYNCをベースとしたCODESYNCBENCHは,CODESYNCBENCH(CODESYNCBENCH)という,大規模言語モデルのコード進化と同期する能力を評価するベンチマークである。
論文 参考訳（メタデータ） (2025-02-23T16:46:18Z) - UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。
私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。
我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
論文 参考訳（メタデータ） (2025-02-17T05:37:02Z) - ExeCoder: Empowering Large Language Models with Executability Representation for Code Translation [57.604506522287814]
既存の大きな言語モデル(LLM)は、事前トレーニング中にのみコードのコンテキスト意味を学習する。
機能的セマンティクスや構文構造,変数依存性といった実行可能性表現を活用するために,ExeCoderを提案する。
ExeCoderは、既存のオープンソースコードLLMを10.88%以上、38.78%以上、27.44%以上、42.97%以上という、2つのメトリクスで、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-01-30T16:18:52Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - CodeBenchGen: Creating Scalable Execution-based Code Generation Benchmarks [35.68087697258125]
自然発生のコードソースからスケーラブルな実行ベースのベンチマークを作成するためのフレームワークであるCodeBenchGenを紹介します。
具体的には,大規模言語モデル(LLM)を用いて任意のコード片をサンドボックス化して評価例を作成する。
Exec-CSNにおける例の解決可能性を示すために, 81.3%の例がヒトによって解決可能であることを示す。
論文 参考訳（メタデータ） (2024-03-31T05:20:53Z) - InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。
慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。
InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
論文 参考訳（メタデータ） (2024-03-11T02:06:30Z) - CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。
我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。
タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文 参考訳（メタデータ） (2022-11-25T18:05:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。