論文の概要: Scientific Code Search at Scale: A Multi-Domain Dataset and Benchmark
- arxiv url: http://arxiv.org/abs/2607.05443v1
- Date: Fri, 03 Jul 2026 19:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.261084
- Title: Scientific Code Search at Scale: A Multi-Domain Dataset and Benchmark
- Title（参考訳）: 大規模科学的コード検索 - マルチドメインデータセットとベンチマーク
- Abstract要約: 我々は、NASAの5つのミッション・ディレクター・ディビジョンにまたがる、高品質でドメイン分類された5,264の科学リポジトリをキュレートしたコーパスを提示する。
1)ドメイン科学者が設計した219のエキスパートキュレートクエリを備えたリポジトリ検索ベンチマーク,2)117,950のコードスニペットと7つのプログラミング言語にわたる119,720のクエリを含む大規模コードスニペット検索ベンチマークを紹介する。
- 参考スコア（独自算出の注目度）: 1.5641443078984256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientists increasingly rely on open-source tools to support their research workflows, yet discovering relevant software among over 600 million GitHub repositories remains challenging. Existing code search benchmarks focus on general software engineering tasks and fail to capture the domain-specific vocabulary and needs of scientific computing. We present a curated corpus of 5,264 high-quality, domain-classified scientific repositories spanning five NASA Science Mission Directorate divisions -- Earth Science, Astrophysics, Planetary Science, Heliophysics, and Biological & Physical Sciences -- enriched with cleaned READMEs, extracted topics, and additional context from crawled links. Building on this corpus, we introduce two novel information retrieval benchmarks: (1) a repository search benchmark with 219 expert-curated queries designed by domain scientists, and (2) a large-scale code snippet retrieval benchmark containing 117,950 code snippets and 119,720 queries across seven programming languages. Baseline evaluations on repository search reveal significant performance variation across scientific domains. Code snippet retrieval proves equally challenging, with substantial variation driven by differing documentation practices, coding standards, and programming language conventions across scientific communities. All datasets and benchmarks are publicly released on HuggingFace to support research on scientific tool discovery.
- Abstract（参考訳）: 研究者は研究ワークフローをサポートするために、ますますオープンソースツールに依存している。
既存のコード検索ベンチマークは、一般的なソフトウェア工学のタスクに重点を置いており、科学計算のドメイン固有の語彙やニーズを捉えていない。
我々は、地球科学、天体物理学、惑星物理学、ヘリオ物理、生物物理学の5つの部門からなる、高品質でドメイン分類された5,264の科学リポジトリのキュレートされたコーパスを、クリーン化されたREADME、抽出されたトピック、クロールされたリンクから追加のコンテキストを満載したコーパスとして提示する。
このコーパスをベースとして,1)ドメイン科学者が設計した219のエキスパートキュレートクエリを備えたリポジトリ検索ベンチマーク,2)117,950のコードスニペットと7つのプログラミング言語にわたる119,720のクエリを含む大規模コードスニペット検索ベンチマークを導入する。
リポジトリ検索のベースライン評価は、科学的領域間で大きなパフォーマンス変化を示す。
コードスニペットの検索は、異なるドキュメントのプラクティス、コーディング標準、科学的なコミュニティにおけるプログラミング言語の慣習によって、かなりのバリエーションによって、同様に困難であることが証明されている。
すべてのデータセットとベンチマークは、科学ツール発見の研究をサポートするために、HuggingFaceで公開されている。
関連論文リスト
- SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models [63.357710580101894]
大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。
この問題に対処するため、SciCustomという新しいフレームワークを提案する。
大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。
論文 参考訳（メタデータ） (2026-05-19T04:41:43Z) - AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。
エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。
最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
論文 参考訳（メタデータ） (2026-04-28T06:05:17Z) - PaperSearchQA: Learning to Search and Reason over Scientific Papers with RLVR [64.22412492998754]
我々は,1600万件のバイオメディカルペーパーを要約した検索コーパスを公開し,PaperSearchQAと呼ばれるファクトイックなQAデータセットを構築した。
我々は,この環境における検索エージェントを訓練し,非RL検索ベースラインを上回ります。
我々のデータ生成方法はスケーラブルで、他の科学領域にも容易に拡張できます。
論文 参考訳（メタデータ） (2026-01-26T06:46:16Z) - ReSearch: A Multi-Stage Machine Learning Framework for Earth Science Data Discovery [6.780086370528623]
我々は,地球科学データ発見を定式化した多段階推論型検索フレームワークであるtextbfReSearchを紹介した。
ReSearchは、語彙検索、セマンティック埋め込み、省略拡張、および統合アーキテクチャ内での大規模言語モデルの再配置を統合している。
実験によると、ReSearchはベースラインメソッドよりもリコールとランキングのパフォーマンスを継続的に改善している。
論文 参考訳（メタデータ） (2026-01-20T17:27:12Z) - HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery [50.8841471967624]
HiSciBenchは、完全な科学的ワークフローを反映した5つのレベルにわたる基礎モデルを評価するために設計された階層的なベンチマークである。
HiSciBenchには、6つの主要な科学分野にまたがる8,735件の慎重に管理された事例が含まれている。
論文 参考訳（メタデータ） (2025-12-28T12:08:05Z) - AInsteinBench: Benchmarking Coding Agents on Scientific Repositories [33.48206557020983]
AInsteinBenchは、大規模言語モデル(LLM)エージェントが科学計算開発エージェントとして動作するかどうかを評価するための大規模なベンチマークである。
AInsteinBenchは、表面レベルのコード生成を超えて、計算科学研究に必要なコア能力に移行するモデルの能力を測定する。
論文 参考訳（メタデータ） (2025-12-24T08:11:11Z) - An MLCommons Scientific Benchmarks Ontology [2.665757190742151]
本稿では,統一的,コミュニティ主導の取り組みを通じて開発された科学ベンチマークのオントロジーを紹介する。
この取り組みは、異なるベンチマークとフレームワークの大規模なセットを単一の分類に集約する。
新しいベンチマークはMLCommons Science Working Groupが調整したオープンな提出を通じて追加することができる。
論文 参考訳（メタデータ） (2025-11-06T17:07:18Z) - HiPerRAG: High-Performance Retrieval Augmented Generation for Scientific Insights [72.82973609312178]
HiPerRAGは360万以上の科学論文から知識をインデクシングし取り出すワークフローである。
コアとなるのはマルチモーダル文書解析のための高スループットモデルであるOreoと、クエリ対応エンコーダの微調整アルゴリズムであるColTrastだ。
HiPerRAGは、既存の科学的質問応答ベンチマークと、この研究で導入された2つの新しいベンチマークで堅牢なパフォーマンスを提供する。
論文 参考訳（メタデータ） (2025-05-07T22:50:23Z) - SciDMT: A Large-Scale Corpus for Detecting Scientific Mentions [52.35520385083425]
SciDMTは,科学的言及検出のための拡張および拡張されたコーパスである。
コーパスは,1)SciDMTの主コーパスは8万4千件の科学的論文と8百万件以上の弱い注釈付き言及アノテーションと,2)評価目的のために手作業で注釈付けされた100件の科学的論文からなる評価セットから構成される。
論文 参考訳（メタデータ） (2024-06-20T22:03:21Z) - MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。
MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。
我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
論文 参考訳（メタデータ） (2024-06-10T15:19:09Z) - SciCat: A Curated Dataset of Scientific Software Repositories [4.77982299447395]
我々は、FLOSS(Free-Libre Open Source Software)プロジェクトの包括的なコレクションであるSciCatデータセットを紹介します。
私たちのアプローチは、World of Codeのデータソースから、1億3100万の削除されたリポジトリのプールからプロジェクトを選択することです。
本分類は, 科学的目的のために設計されたソフトウェア, 研究関連プロジェクト, 研究支援ソフトウェアに焦点をあてる。
論文 参考訳（メタデータ） (2023-12-11T13:46:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。