論文の概要: SolBehave: Evaluating the Behavioural Correctness of LLM-Generated Smart Contracts
- arxiv url: http://arxiv.org/abs/2610.18745v1
- Date: Tue, 13 Oct 2026 17:12:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.690415
- Title: SolBehave: Evaluating the Behavioural Correctness of LLM-Generated Smart Contracts
- Title（参考訳）: SolBehave: LLM生成スマートコントラクトの振る舞いの正確性を評価する
- Abstract要約: モデル生成契約の正確性を評価するためのベンチマークであるSolBehaveを紹介する。
本研究では, ファジィファジィング, ヒストリー・トランジッション・リプレイ, 合成・トランジッション・リプレイという, 行動忠実性の3つのテストを適用した。
1ラウンドの自動修復を行った後、7つの最先端のオープンウェイトモデルを評価した。
- 参考スコア（独自算出の注目度）: 8.328553901101122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models increasingly generate Solidity smart contracts that, once deployed, can never be patched, making a single latent fault permanent and exploitable. Yet current evaluations mostly ask only whether generated code compiles. We introduce SolBehave, a benchmark for evaluating the correctness of model-generated contracts at scale, moving beyond ad hoc unit tests. Across 250 real, reproducible Ethereum contracts, we apply three complementary tests of behavioural fidelity: differential fuzzing, historical-transaction replay, and, as our core contribution, synthetic-transaction replay guided by a Dynamic Condition Response (DCR) graph that enumerates the space of legitimate function-call sequences. Differential fuzzing compares each generated function with the original on automatically generated inputs; historical replay compares the whole contract on the transactions it actually received on-chain; DCR-guided replay compares it on sequences of calls that follow its intended usage, including orderings that never occurred on-chain. We evaluate seven state-of-the-art open-weight models after one round of automated repair. Compilation success ranges from 26.4% to 92.7%, but under differential fuzzing only 31.4% of all generated function bodies that compile, pooled over models and samples, are equivalent to the original. Divergence at the contract level is the norm rather than the exception: for six of the seven models, between 13% and 31% of the generated contracts that compile diverge from the original under historical replay, and between 13% and 44% under DCR-guided replay; only Gemma-4-31B stays below 3% on both. Compilation is therefore a necessary condition for correctness and far from a sufficient one.
- Abstract（参考訳）: 大規模言語モデルは、一度デプロイされるとパッチが適用されないSolidityスマートコントラクトをますます生成し、単一の潜伏障害を永続的かつ悪用可能にします。
しかし、現在の評価は主に生成されたコードがコンパイルされるかどうかのみを問う。
本稿では,モデル生成契約の妥当性を評価するベンチマークであるSolBehaveを紹介する。
実写可能なEthereum契約250件中3件の相補的な行動忠実度テスト(差動ファジィング、履歴-反応リプレイ、および我々のコアコントリビューションとして、正常な関数呼び出しシーケンスの空間を列挙する動的条件応答(DCR)グラフで導かれる合成-反応リプレイ)を適用した。
異なるファジィングは、生成された各関数と、自動生成された入力とを比較し、履歴リプレイは、実際にオンチェーンで受信したトランザクションの契約全体を比較し、DCR誘導リプレイは、その意図された使用法に従う一連の呼び出しと比較する。
1ラウンドの自動修復を行った後、7つの最先端のオープンウェイトモデルを評価した。
コンパイル成功率は26.4%から92.7%の範囲であるが、差分ファジングの下では、モデルやサンプルをプールしてコンパイルする関数の31.4%しかオリジナルのものと等価ではない。
7つのモデルのうち6つのモデルのうち、13%から31%は、オリジナルのリプレイでコンパイルされたコントラクトのうち13%から31%は、DCRで誘導されたリプレイで13%から44%は、どちらも3%以下にとどまっている。
したがって、コンパイルは正確性に必要な条件であり、十分ではない。
関連論文リスト
- SpatialChain: A Benchmark for Auditing Spatial Reasoning Faithfulness in VLMs [32.72182829728677]
思考可能な視覚言語モデル(VLM)は、空間的ベンチマークにおいてずっと高い精度を報告している。
しかし、最終回答スコアは、正しい予測が忠実な空間的推論や言語的ショートカットを反映しているかを明らかにすることはできない。
28350のトレーニングデータセットであるSpatialChainと、空間指向のGQA質問と、シーングラフに基づく推論チェーンをペアにした899のテスト例を紹介する。
論文 参考訳（メタデータ） (2026-10-05T14:29:54Z) - Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。
5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。
アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
論文 参考訳（メタデータ） (2026-09-30T16:40:22Z) - The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World [0.0]
LLMルータは、各要求を最も安価な適切なモデルに合わせることで効率を約束し、マルチステップエージェント内のステップごとに適用されるようになっている。
しかし、エージェントルータはシングルターンルータのように評価され、ログ付きトラジェクトリを再生し、他のモデルの出力を置換することで評価される。
我々は,SWE-benchエージェントを制御点にフォークし,環境を再構築し,各フォークを異なるモデルで継続し,サンプリングと再生を分離する同モデル制御フォークと比較する。
論文 参考訳（メタデータ） (2026-08-08T17:07:11Z) - Turning Interaction History into Execution State: A Runtime Layer for Long-Horizon Coding Agents [48.967927222079965]
Ledgerは、エージェントの完了したインタラクションを明示的な実行状態に蒸留するランタイム層である。
Ledgerはこの状態をオンライン実行台帳に保持し、各ステップの2つのバウンダリに適用される。
500のSWE-bench検証インスタンス全体で、LedgerはPass@1を56.2%から64.2%に、GPT-5 miniを75.8%から81.0%に、MiniMax M2.5を81.0%に引き上げている。
論文 参考訳（メタデータ） (2026-08-01T18:25:00Z) - DarwinX: Evolving Agent Harnesses Through Natural Selection [48.64258219266629]
ダーウィンXは自己進化を、モデルが凍結されたハーネスの集団の選択として扱う。
一般的なエージェント能力はベンチマーク固有のパッチではなく、タスク、検証、ベースモデルの変更を生き残る。
論文 参考訳（メタデータ） (2026-07-31T05:34:02Z) - Re-feeding Is Not Replaying: Measuring Replay Noise in Counterfactual Token-Credit Estimation [0.0]
言語モデルのロールアウトにおいて、どのトークンが最終回答が正しいか間違っているかを尋ねる。
我々は、この仮定がストック推論エンジンのコストを3パスの設計で測定する。
6つの構成と3つのモデルにまたがって、リフィーディングはレプリカフロアよりも14-28ポイント高いレートでクレジットの見積もりを変更する。
論文 参考訳（メタデータ） (2026-06-14T06:09:16Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - ContractBench: Can LLM Agents Preserve Observation Contracts? [9.057486468322933]
観察契約の遵守は、緊急かつ回帰的な能力であることを示す。
ContractBenchは、2つの障害モードを探索する33の二重軸タスクのベンチマークである。
i)評価モデルが80%,Claude-Opus-4.6が77.8%, (ii)Qwen 3.5で4B (0%) から9B (56.6%) の急激な家庭内能力崖が397B-A17Bで70.7%, (iii) GPT-5ファミリーでの非単調性スケーリングが消失した。
論文 参考訳（メタデータ） (2026-05-17T06:37:04Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - AlgoVeri: An Aligned Benchmark for Verified Code Generation on Classical Algorithms [54.99368693313797]
既存のベンチマークでは、個々の言語/ツールのみをテストするため、パフォーマンス番号は直接比較できない。
このギャップに対処するAlgoVeriは、Dafny、Verus、Leanで77ドルの古典的アルゴリズムのベリコーディングを評価するベンチマークです。
論文 参考訳（メタデータ） (2026-02-10T06:58:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。