論文の概要: SeVerus: Context-Aware, Gamified Benchmarking for Rust Verification
- arxiv url: http://arxiv.org/abs/2611.07194v1
- Date: Wed, 04 Nov 2026 22:34:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.462572
- Title: SeVerus: Context-Aware, Gamified Benchmarking for Rust Verification
- Title(参考訳): SeVerus: コンテキスト対応、Rust検証のためのゲーミフィケーションベンチマーク
- Abstract要約: 我々は,検証タスクをクエストに整理するVerusベンチマークを生成する文脈認識技術であるSEVERUSを提案する。
SEVERUSは10,095レベルからなる819のクエストを生成する。
GPT-6 Sol と GPT-6 Luna を用いた Codex の実験と、Sonnet 4.6 を用いた Claude Code による実験により、証明コンテキストが取り除かれるにつれて成功率が減少し、コストが増加することを示した。
- 参考スコア(独自算出の注目度): 39.06615096277988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents achieve high success rates on existing benchmarks for Verus, a verifier for Rust programs. These benchmarks typically provide the auxiliary lemmas needed to complete a proof. In practice, however, such lemmas must be discovered and proved. To capture this challenge, we present SEVERUS, a context-aware technique to generate Verus benchmarks that organizes verification tasks into quests, each divided into levelsin a gamified manner. Using the original proof dependencies in verified projects, SEVERUS constructs one quest per verification target and progressively removes proof context to create individual levels. These levels range from the easiest, requiring completing only a single missing lemma, to the hardest, requiring proving the target without any supporting lemmas. An independent checker rejects changes to executable code, weakened specifications, and unsound proof constructs. A noisy binary search estimates the highest level that an agent can solve reliably. Applied to six open-source Verus projects, SEVERUS generates 819 quests comprising 10,095 levels. Experiments with Codex using GPT-6 Sol and GPT-6 Luna, and with Claude Code using Sonnet 4.6, show that success decreases and cost increases as proof context is withdrawn. The strongest agent solves the final level of 52 of 60 sampled quests, yet can only reliably solve 35% of their levels, with failures concentrated in longer quests. Successful GPT-6 Sol proofs rarely reproduce the withheld lemmas, instead, using alternative proof decompositions. By systematically varying proof context, SEVERUS provides a foundation for constructing verification benchmarks that can continue to challenge increasingly capable coding agents.
- Abstract(参考訳): コーディングエージェントは、Rustプログラムの検証ツールであるVerusの既存のベンチマークで高い成功率を達成する。
これらのベンチマークは、証明を完了するのに必要な補助補題を提供するのが一般的である。
しかし、実際にはそのような補題を発見して証明しなければならない。
この課題を克服するために、我々は、検証タスクをクエストに整理するVerusベンチマークを生成するコンテキスト認識技術であるSEVERUSを紹介し、それぞれをゲーミフィケーションな方法でレベル分けする。
SEVERUSは検証対象ごとに1つのクエストを構築し、証明コンテキストを段階的に削除し、個々のレベルを作成する。
これらのレベルは最も簡単なものから、唯一欠落した補題のみを完成させるものから、最も難しいものまで様々である。
独立したチェッカーは実行可能コードの変更、仕様の弱化、不適切な証明構成を拒否する。
ノイズの多い二分探索は、エージェントが確実に解ける最も高いレベルを推定する。
6つのオープンソースプロジェクトのVerusに適用され、SEVERUSは10,095レベルからなる819のクエストを生成する。
GPT-6 Sol と GPT-6 Luna を用いた Codex の実験と、Sonnet 4.6 を用いた Claude Code による実験により、証明コンテキストが取り除かれるにつれて成功率が減少し、コストが増加することを示した。
最強のエージェントは、60のサンプルクエストのうち52の最終的なレベルを解決しますが、そのレベルのうち35%しか確実に解決できません。
成功した GPT-6 ソル証明は、代わりに代替の証明分解を用いて、保持されていない補題をほとんど再現しない。
体系的に異なる証明コンテキストによって、SEVERUSは、ますます有能なコーディングエージェントに挑戦し続けることができる検証ベンチマークを構築するための基盤を提供する。
関連論文リスト
- VerusWeave: A Benchmark for Proof Repair in Concurrent Verus Programs [1.2986463532115327]
並行ソフトウェアは、オペレーティングシステムやデータベースを含む重要なインフラを支えるが、スレッドインタラクションは従来のテストを回避するバグを持つことがある。
VerusはRustをフォーマルな検証機能で拡張し、開発者は同じ言語で並列コードの特定、実装、正しさを証明できる。
VerusWeaveは、並列的な証明の修正に特化した最初のベンチマークです。
論文 参考訳(メタデータ) (2026-10-30T19:14:32Z) - Scaling Lean Theorem Proving for Real-World Code Verification [2.4869619439800723]
EasyProverは、669/672 PutnamBench問題と6つのIMO 2026の形式化を証明している。
Aegisは競合するプログラミング問題を実際の実装よりもはるかに難しい検証タスクに変換する。
2,045の差分検証されたRust-Leanプログラムペアと11,533の候補仕様を生成する。
論文 参考訳(メタデータ) (2026-10-28T02:23:25Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳(メタデータ) (2026-10-01T03:02:17Z) - SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳(メタデータ) (2026-09-18T01:16:53Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - From Natural Language to Verified Code: Toward AI Assisted Problem-to-Code Generation with Dafny-Based Formal Verification [0.30915521808748864]
大規模な言語モデルは、自動化されたソフトウェア工学における約束を示すが、その正しさの保証は、誤ったコードや幻覚的なコードによってしばしば損なわれる。
NaturalLanguage2VerifiedCodeデータセット:60の複雑なアルゴリズム問題の集合を提供する。
7個のオープンウェイト LLM でランダムに選択された11個の問題集合をタイレッドプロンプト戦略を用いて評価した。
以上の結果から,コンテキストレスなプロンプトがほぼユニバーサルの失敗につながる一方で,構造的アンカーと反復的自己修復が劇的なパフォーマンスの転換を促進することが示唆された。
論文 参考訳(メタデータ) (2026-04-24T14:28:10Z) - MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [85.50740598523818]
MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。
5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。
我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
論文 参考訳(メタデータ) (2024-02-14T05:57:58Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳(メタデータ) (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。