論文の概要: CodeWalk: Generating Coding Benchmarks by Walking a Problem Graph

• arxiv url: http://arxiv.org/abs/2610.15345v1
• Date: Sun, 11 Oct 2026 04:57:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.201414
• Title: CodeWalk: Generating Coding Benchmarks by Walking a Problem Graph
• Title（参考訳）: CodeWalk: 問題グラフのウォーキングによるコーディングベンチマークの生成
• Abstract要約: 既存のコードを構成することで、ほとんどコストがかからない新しいコーディング問題を生成できることを示します。 コード構成として問題生成を定式化する: 検証済みの原子問題はレベル-N$タスクに結合される。 タスク構築プロセス全体はプログラム的であり、言語モデルの生成や検証は必要ありません。
• 参考スコア（独自算出の注目度）: 6.696593630393381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality coding problems are expensive to collect. Benchmarks such as SWE-bench rely on substantial human curation, while synthetic alternatives typically rely on costly model generation and validation. In this work, we show that new coding problems can be created at almost no cost by composing existing ones. We formulate problem generation as code composition: verified atomic problems are combined into level-$N$ tasks, and a task is kept only if every atomic problem remains unsolved and a joint reference solution passes the same check used at evaluation time. The entire task-construction process is programmatic and requires no language-model generation or validation. We instantiate this approach in four coding settings: multi-bug repair, proof completion, complexity analysis, and clone equivalence. The generated tasks are challenging for frontier models, which all degrade as compositional depth increases. The generated tasks are also useful as training data: rejection-sampling fine-tuning on them improves Qwen3.5-9B at every composition level.
• Abstract（参考訳）: 高品質なコーディング問題は収集に費用がかかる。 SWE-benchのようなベンチマークは人為的なキュレーションに依存し、合成代替品はコストの高いモデル生成と検証に依存している。 本研究では,既存のコードを構成することで,ほとんどコストがかからない新しいコーディング問題を生成可能であることを示す。 我々はコード構成として問題生成を定式化する: 検証済みの原子問題はレベル$N$タスクに結合され、全ての原子問題が未解決のままであり、共同参照ソリューションが評価時に使用されるのと同じチェックをパスした場合にのみタスクが保持される。 タスク構築プロセス全体はプログラム的であり、言語モデルの生成や検証は必要ありません。 このアプローチを、マルチバグ修復、証明完了、複雑性解析、クローン等価性の4つのコーディング設定でインスタンス化する。 生成したタスクはフロンティアモデルでは困難である。 リジェクションサンプリングの微調整により、Qwen3.5-9Bは各構成レベルで改善される。

関連論文リスト

• EngramBench: A Capability-Grounded Benchmark for Skill-Evolution Harnesses [50.93446596863591]
  EngramBenchは、ソリューションオーバーラップすることなく、厳密なオーバーラップの公理に支配される機能基底ベンチマークである。 人間の専門的検証によって裏付けられた48の複数時間実行軌跡に対する我々の評価は、手続き記憶に関する深い洞察を浮き彫りにしている。 破滅的なトークン重大な試行錯誤からエージェントを遠ざけることで、真の能力抽象化は冗長なコンテキストの肥大を削減し、全体的なコーディング時間を55%以上削減します。
  論文  参考訳（メタデータ） (2026-09-30T08:33:17Z)
• AlgoBench: Benchmarking Algorithmic Adaptation in Code Generation [7.798940465229644]
  ALGOBENCHは、既知の競合プログラミング問題から新しいアルゴリズム問題を自動生成するフレームワークである。 ALGOBENCHの変種では性能が急激に低下し、検索によって古いアルゴリズムの再利用が増加し、多くの正しい解が要求される複雑さを満たすことができないことを示す。
  論文  参考訳（メタデータ） (2026-06-30T10:13:12Z)
• QueST: Incentivizing LLMs to Generate Difficult Problems [77.75835742350644]
  大規模言語モデルは、推論タスク、競合レベルのコーディングと数学の問題を解く上で、強力なパフォーマンスを達成した。 既存の競合するコーディングデータセットには、数千から数万の問題しか含まれていない。 本稿では,難解なグラフサンプリングと難解な拒否の微調整を組み合わせた新しいフレームワークであるQueSTを提案する。
  論文  参考訳（メタデータ） (2025-10-20T16:29:53Z)
• Scaling Code-Assisted Chain-of-Thoughts and Instructions for Model Reasoning [65.20602712957725]
  Cacoは、高品質で検証可能な多様な命令-CoT推論データの合成を自動化する新しいフレームワークである。 我々の研究は、人間の介入なしに自己持続的で信頼できる推論システムを構築するためのパラダイムを確立します。
  論文  参考訳（メタデータ） (2025-10-05T07:59:24Z)
• KodCode: A Diverse, Challenging, and Verifiable Synthetic Dataset for Coding [49.56049319037421]
  KodCodeは、高品質で検証可能なトレーニングデータを取得するという永続的な課題に対処する、合成データセットである。 自己検証手順によって体系的に検証される質問解決テスト三つ子を含む。 このパイプラインは大規模で堅牢で多様なコーディングデータセットを生成する。
  論文  参考訳（メタデータ） (2025-03-04T19:17:36Z)
• An Empirical Study on Self-correcting Large Language Models for Data Science Code Generation [1.335664823620186]
  大規模言語モデル(LLM)は最近、ソフトウェア工学のタスクに多くの応用を進歩させた。 CoT-SelfEvolveは、自己修正プロセスを通じて、反復的かつ自動的にコードを洗練する。
  論文  参考訳（メタデータ） (2024-08-28T09:19:09Z)
• FixEval: Execution-based Evaluation of Program Fixes for Programming Problems [23.987104440395576]
  FixEvalは、競合するプログラミング問題とそれに対応する修正に対して、バグの多いコードを提出するベンチマークです。 FixEvalは、モデル生成プログラム修正の正確性を評価するために、ユニットテストの広範なコレクションを提供する。 実験の結果,マッチングに基づくメトリクスは,モデル生成プログラムの修正を正確に反映しないことがわかった。
  論文  参考訳（メタデータ） (2022-06-15T20:18:43Z)
• Measuring Coding Challenge Competence With APPS [54.22600767666257]
  コード生成のベンチマークであるAPPSを紹介する。 私たちのベンチマークには1万の問題が含まれています。 GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
  論文  参考訳（メタデータ） (2021-05-20T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。