論文の概要: SciWalker: Synthesizing Scientific Coding Problems with Operator Graphs and Execution Feedback
- arxiv url: http://arxiv.org/abs/2609.30054v1
- Date: Thu, 24 Sep 2026 16:12:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:10.085797
- Title: SciWalker: Synthesizing Scientific Coding Problems with Operator Graphs and Execution Feedback
- Title（参考訳）: SciWalker: 演算子グラフと実行フィードバックによる科学的コーディング問題の合成
- Abstract要約: SciWalkerは,演算子チェーンサンプリングと実行フィードバックを通じて,科学的コーディング問題を合成するフレームワークである。
5つの科学的領域と32にまたがる8,178の高品質な問題を構築した。
このトレーニングでは、SciCodeサブプロブレムの精度が29.3%から39.2%まで9.9%向上し、科学的コード生成、コード修復、推論ベンチマークが向上した。
- 参考スコア（独自算出の注目度）: 29.309296351120125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improving the scientific coding capabilities of large language models (LLMs) requires high-quality training data. However, such data remain scarce because manually authoring realistic problems is costly and time-consuming, while systematically covering diverse scientific domains and algorithmic combinations remains challenging. To address this, we introduce SciWalker, a framework for synthesizing scientific coding problems through operator-chain sampling and execution feedback. The framework combines scientific library interfaces with operation modes to instantiate operators, organizes them into operator graphs, and samples operator chains as computational workflow cues. Guided by these cues, we adopt LLMs to generate scientifically grounded problem statements, reference solutions, and tests, with failed generations iteratively repaired using execution feedback. By combining structured workflow composition with verification and quality review, SciWalker enables scalable task generation while promoting scientific grounding, computational diversity, and executability. Using this framework, we construct 8,178 high-quality problems spanning 5 scientific domains and 32 subdomains. To evaluate their training utility, we conduct reinforcement learning on Qwen3.5-9B using the GSPO algorithm. This training improves SciCode subproblem accuracy by 9.9 percentage points, from 29.3% to 39.2%, with gains across scientific code generation, code repair, and reasoning benchmarks. The code for SciWalker is available at https://github.com/lichenx1/SciWalker.
- Abstract（参考訳）: 大きな言語モデル(LLM)の科学的コーディング能力を改善するには、高品質なトレーニングデータが必要である。
しかし、現実的な問題を手作業で作成する作業はコストと時間を要するため、そのようなデータは少ないままであり、体系的に様々な科学的領域とアルゴリズムの組み合わせをカバーしているのが困難である。
そこで我々は,SciWalkerを紹介した。SciWalkerは,演算子チェーンサンプリングと実行フィードバックによって,科学的コーディング問題を合成するフレームワークである。
このフレームワークは、科学ライブラリインターフェースと操作モードを組み合わせて演算子をインスタンス化し、演算子グラフに整理し、演算子チェーンを計算ワークフローキューとしてサンプリングする。
これらの方法によって導かれ、我々はLLMを採用し、科学的に基礎付けられた問題文、参照ソリューション、テストを生成し、世代が失敗した場合、実行フィードバックを用いて反復的に修復する。
構造化ワークフロー構成と検証と品質レビューを組み合わせることで、SciWalkerは、科学的基盤化、計算の多様性、実行可能性を促進しながら、スケーラブルなタスク生成を可能にします。
このフレームワークを用いて、5つの科学的領域と32のサブドメインにまたがる8,178の高品質な問題を構築する。
GSPOアルゴリズムを用いてQwen3.5-9Bの強化学習を行う。
このトレーニングでは、SciCodeサブプロブレムの精度が29.3%から39.2%まで9.9%向上し、科学的コード生成、コード修復、推論ベンチマークが向上した。
SciWalkerのコードはhttps://github.com/lichenx1/SciWalkerで公開されている。
関連論文リスト
- SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science? [60.11366724565423]
SWE-bench Scienceは、20の科学ドメインにわたる98のGitHubリポジトリから119のタスクからなる、科学ソフトウェアエンジニアリングのためのリポジトリレベルのベンチマークである。
科学的知識や抽象化の欠如、誤った調査や表面レベルの修復、不完全な修復のカバレッジやシステム統合、そして我々の分析で観察されたケースを超えて科学的知識を一般化する失敗の4つの失敗メカニズムを特定します。
論文 参考訳（メタデータ） (2026-08-20T08:53:15Z) - FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale [73.57353294235223]
既存のクローズドエンドコーディングタスクからオープンエンドの問題を進化させる自動化システムであるFrontierSmithを紹介する。
2つのオープンエンドコーディングベンチマークでは、我々の合成データに対するトレーニングはベースモデルよりも大幅に向上する。
合成された問題は、エージェントがもっと回転してトークンを使うようにもなっています。
論文 参考訳（メタデータ） (2026-05-14T06:39:42Z) - Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration? [40.0763986629474]
我々は、既存の数学問題をより複雑なバリエーションに自律的に進化させるコードエージェントの可能性について検討する。
本稿では,解決可能性の検証と,発生した問題の難易度の向上を図りながら,問題進化を図ったマルチエージェントフレームワークを提案する。
この研究は、コード駆動エージェントが高微分数学的推論問題を合成するための実行可能なメカニズムとして機能できるという実証的な証拠を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:55:10Z) - SciCoQA: Quality Assurance for Scientific Paper--Code Alignment [53.70401063640645]
SciCoQAは,学術出版物と論文の相違を検出するためのデータセットである。
我々のデータセットは611の紙コード不一致(81のリアル、530の合成)で構成されており、様々な計算科学分野にまたがっている。
評価における最高の性能モデルである GPT-5 は、実世界の紙コード差の45.7%しか検出できない。
論文 参考訳（メタデータ） (2026-01-19T10:04:33Z) - SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。
オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。
予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
論文 参考訳（メタデータ） (2025-09-12T02:53:57Z) - SciCode: A Research Coding Benchmark Curated by Scientists [37.900374175754465]
言語モデル(LM)は、多くの挑戦的なタスクにおいて平均的な人間よりも優れており、挑戦的で高品質で現実的な評価を開発することはますます困難になっている。
このベンチマークには数学、物理学、化学、生物学、材料科学といった問題が含まれています。
クロード3.5-ソネット(Claude3.5-Sonnet)は、最も現実的な環境では、問題の4.6%しか解決できない。
論文 参考訳（メタデータ） (2024-07-18T05:15:24Z) - SciAgent: Tool-augmented Language Models for Scientific Reasoning [129.51442677710452]
ツール強化科学推論という新しいタスク設定を導入する。
この設定は、スケーラブルなツールセットでLarge Language Modelsを補完する。
約3万のサンプルと約6,000のツールを含むツール拡張トレーニングコーパスであるMathFuncを構築した。
MathFunc上に構築したSciAgentは,科学的な問題解決のためのツールを検索し,理解し,必要に応じて利用する。
論文 参考訳（メタデータ） (2024-02-18T04:19:44Z) - SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。
我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。
SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
論文 参考訳（メタデータ） (2024-01-15T20:22:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。