論文の概要: Measuring Where Intent Gets Lost in Agentic Smart Contract Synthesis

• arxiv url: http://arxiv.org/abs/2610.37830v1
• Date: Tue, 27 Oct 2026 18:43:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.901208
• Title: Measuring Where Intent Gets Lost in Agentic Smart Contract Synthesis
• Title（参考訳）: エージェントスマートコントラクト合成におけるインテントの損失の計測
• Abstract要約: AIで書かれた契約が望ましいように振る舞うかどうか、要求された振舞いが失われるかどうかをどうやって確認するかを尋ねる。 我々は意見よりも実行に基づく評価を設計する。 これは、スマートコントラクト合成において、生成前に欠落した要件を収集する最初の研究である。
• 参考スコア（独自算出の注目度）: 5.027278762864141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents can now write software from a plain-English description, but code that runs is not the same as code that does what was asked. This gap matters most for smart contracts, the programs behind Web3 applications that move money on a blockchain and cannot be fixed once deployed. We ask how to check whether an AI-written contract behaves as it should, and where the requested behavior gets lost. We design an evaluation built on execution rather than opinion. We replay the same transactions on an AI-written contract and on the original it should reproduce and measure how often they agree. We test every grading tool on planted mistakes, compare against an answer key written without the description, and audit our own scorer until known wrong answers cannot pass. Common methods, such as AI judges and standard analysis tools, miss obvious mistakes, and scoring choices matter too. Checking only the functions every system includes hid about half the difference between pipelines. We then propose an elicitation-first architecture. Before writing code, the agent asks the client a short checklist of questions, checks the contract against an independently written executable answer key, and returns disagreements to the client instead of silently rewriting code. Asking first matters far more than reviewing or patching afterwards, across three AI models, while automated security fixes often break requested behavior. A few well-chosen questions recover much of what a short description omits, and their value can be estimated without the original contract. To our knowledge, this is the first study in smart contract synthesis to gather missing requirements before generation and check the result against an independently written executable model. The lessons extend to any setting where AI agents turn requests into programs. We release our tools, 600 tasks and all results.
• Abstract（参考訳）: AIエージェントは、平易な英文記述からソフトウェアを書くことができるが、実行中のコードは、要求されたことをするコードと同じではない。 このギャップは、ブロックチェーン上でお金を移動し、一度デプロイしても修正できないWeb3アプリケーションの背後にあるプログラムであるスマートコントラクトにとって、最も重要である。 AIで書かれた契約が望ましいように振る舞うかどうか、要求された振舞いが失われるかどうかをどうやって確認するかを尋ねる。 我々は意見よりも実行に基づく評価を設計する。 AIで書かれた契約で同じトランザクションをリプレイし、オリジナルでは、彼らが同意する頻度を再現し、測定する必要があります。 インストール済みのミスに対して、すべてのグレーディングツールをテストし、説明なしに書かれた回答キーと比較し、既知の誤った回答が通らないまで、自分たちのスコアを監査します。 AIの判断や標準的な分析ツールといった一般的な手法は、明らかな誤りを見逃し、選択のスコアリングも重要になります。 各システムに含まれる関数のみをチェックすると、パイプライン間の約半分の差が隠される。 次に、導入優先アーキテクチャを提案する。 コードを書く前に、エージェントはクライアントに質問の短いチェックリストを尋ね、独立に書かれた実行可能な応答キーに対して契約をチェックし、無言でコードを書き直す代わりにクライアントに不一致を返す。 自動化されたセキュリティ修正は要求された振る舞いを損なうことが多いが、最初の質問は3つのAIモデルのレビューやパッチよりもはるかに重要である。 いくつかの精巧な質問は、短い記述が省略したものの多くを回収し、元の契約なしでその価値を見積もることができる。 我々の知る限り、これはスマートコントラクト合成における最初の研究であり、生成前に欠落した要求を収集し、独立に書かれた実行可能なモデルに対して結果をチェックする。 このレッスンは、AIエージェントがリクエストをプログラムに変換する任意の設定にまで拡張される。 ツール、600のタスク、そしてすべての結果をリリースします。

関連論文リスト

• Agentic process evidence [0.0]
  AIエージェントは自律的なチームメンバーですが、人間のエンジニアとは異なり、短命です。 広く採用されている標準がまだ存在せず、エージェントによる証明とガバナンスが可能である。 APEはエージェントプロセスのポリシ・アズ・コード制御を可能にし、必要な時にのみループに人間を配置できる。
  論文  参考訳（メタデータ） (2026-10-29T13:50:54Z)
• Beyond Copying: Lifelong Smart Contract Security Task Construction via Protocol Mutation [34.68983150892224]
  SlowMistは、ブロックチェーンエコシステム全体で約38億ドルの損失を報告している。 スマートコントラクトセキュリティタスクの生涯構築のためのフレームワークであるConSTRAINTDIALを提案する。 ローカルコントラクトの再構築を自動化し、アタック実行を使用して、必要な呼び出しや入力の変更を選択する。
  論文  参考訳（メタデータ） (2026-10-23T10:17:43Z)
• When Code Gets Cheap, Evaluation Gets Scarce: An Experience Report on AI-Assisted Agile Software Engineering [1.0297574788321668]
  本報告では, コンプライアンスクリティカルなヒューマン・イン・ザ・ループ試験評価システムのエンドツーエンド構築と展開について報告する。 このシステムは、1人の開発者が手書きのコードを書かず、利害関係者のペルソナから監査された行動まで、強制的なプロセスによって保護されている。 AIは、不足しているものを変更することよりも、プログラミングを速くすることで、ソフトウェアエンジニアリングを変える。
  論文  参考訳（メタデータ） (2026-10-22T08:35:55Z)
• Before They Can Solve: Predicting Post-Training Coding-Agent Performance from Base Models [87.94969284553706]
  エンド・ツー・エンドのpass@$K$は、成功した振る舞いがベースモデルのディストリビューションにすでに現れるかどうかをテストする。 コールドスタートからハーネスを駆動するために、ベースチェックポイントを必要としない3つのスクリーンを構築します。 3つの画面はいずれも、ポストトレーニング後のSWE-bench Verified pass@$1$と密接に一致して、コホートをランク付けする。
  論文  参考訳（メタデータ） (2026-10-07T17:37:19Z)
• CONTRA: Discovering and Qualifying Behavior-Changing Questions for Selective Clarification in LLM Code Generation [51.52661708278023]
  コーディングエージェントは正しいように見えるコードを生成することができるが、ユーザが意図しなかった振る舞いを実装する。 本研究では,広範囲な質問発見とセマンティックおよび実行に基づく質問資格を組み合わせた,学習自由度手法であるCONTRAを提案する。 ClarifyCodeBenchの実験では、CONTRAは4つのコーディングエージェントすべてで最高F1を達成した。
  論文  参考訳（メタデータ） (2026-10-01T14:26:21Z)
• Software Delegation Contracts: Measuring Reviewability in AI Coding-Agent Work [0.0]
  以前の作業では、タスク、権限、返却された作業パッケージ、受け入れコンテキストを、委譲されたコーディング作業の分析単位として記述するソフトウェア委譲契約を提案したが、その効果は測定しなかった。 本稿では,符号化エージェントの明示的デリゲート契約に関する制御されたパイロット研究について報告する。
  論文  参考訳（メタデータ） (2026-06-14T05:53:27Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)
• SolBench: A Dataset and Benchmark for Evaluating Functional Correctness in Solidity Code Completion and Repair [51.0686873716938]
  コード補完モデルによって生成されたSolidityスマートコントラクトの機能的正しさを評価するベンチマークであるSolBenchを紹介する。 本稿では,スマートコントラクトの機能的正当性を検証するための検索拡張コード修復フレームワークを提案する。 その結果、コード修復と検索技術は、計算コストを削減しつつ、スマートコントラクト完了の正しさを効果的に向上することを示した。
  論文  参考訳（メタデータ） (2025-03-03T01:55:20Z)
• CodeAgent: Autonomous Communicative Agents for Code Review [12.163258651539236]
  コードレビュー自動化のための新しいマルチエージェント大規模言語モデル(LLM)システムであるツールを紹介する。 CodeAgentは、すべてのエージェントのコントリビューションが初期レビュー問題に対処するように、監督エージェントであるQA-Checkerを組み込んでいる。 結果はCodeAgentの有効性を実証し、コードレビュー自動化の新たな最先端に寄与している。
  論文  参考訳（メタデータ） (2024-02-03T14:43:14Z)
• Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
  本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。 トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
  論文  参考訳（メタデータ） (2023-02-14T18:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。