論文の概要: Pre-QED: Environment Specifications for Agentic Verification
- arxiv url: http://arxiv.org/abs/2611.15207v1
- Date: Wed, 11 Nov 2026 09:03:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.08648
- Title: Pre-QED: Environment Specifications for Agentic Verification
- Title(参考訳): Pre-QED:エージェント検証のための環境仕様
- Abstract要約: エージェント検証のボトルネックは、どのように証明するかから、何を証明するかへと移行したと我々は主張する。
APIのすべての法的な使用をモデル化する検証ハーネス,実行可能ハーネスを提案する。
包括的なビジョンは、オープンソースライブラリの検証はファジィ化と同じくらいルーチンになるべきであり、すべての優れたクライアントをカバーすることが保証される、ということです。
- 参考スコア(独自算出の注目度): 10.198958802987576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM agents are making formal verification practical at scale. Recently, many attempts have raised this as an enticing possibility. However, formal verification at scale is only meaningful if deep formal specifications capturing functionality are available for checking. Unfortunately, recent works seek to bypass this issue by using shallow specifications devised for purposes other than verification. OSS-Verify from Anthropic and Theorem, for example, reuses the fuzz harnesses of open-source libraries as specifications and has an agent prove that each harness never crashes. However, a fuzz harness follows a single sequence of API calls under a single calling context, so the resulting proof covers one usage scenario rather than the library. We argue that the bottleneck of agentic verification has shifted from how to prove to what to prove. Before zooming into verification at scale, we need deep environment specifications to prove, which is why we call our effort Pre-QED. We propose verification harnesses, executable harnesses that model all legal usages of an API, so that a proof about the harness is a proof about every well-behaved client. To construct them, we use an agentic workflow that extracts the API's usage contract from code / documentation, and uses Linear-time Temporal Logic (LTL) to rule out illegal call orders. We identify the challenges in proving verification harnesses and release our harnesses open-source as challenges for the community. The overarching vision is that verifying an open-source library should become as routine as fuzzing it, with a guarantee that covers every well-behaved client rather than a single scenario like a fuzzing harness.
- Abstract(参考訳): LLMエージェントは、大規模に公式な検証を実践している。
近年、このような試みが盛んに行われている。
しかし、大規模な形式検証は、機能を把握するための詳細な形式仕様が利用可能である場合にのみ意味を持つ。
残念ながら、最近の研究は、検証以外の目的のために考案された浅い仕様を使用することでこの問題を回避しようとしている。
AnthropicとTheoremのOSS-Verifyは、例えば、オープンソースライブラリのファズハーネスを仕様として再利用し、各ハーネスがクラッシュしないことをエージェントに証明している。
しかし、ファズハーネスは単一の呼び出しコンテキスト下で単一のAPI呼び出しのシーケンスに従うため、結果として得られた証明はライブラリではなく、ひとつの利用シナリオをカバーする。
エージェント検証のボトルネックは、どのように証明するかから、何を証明するかへと移行したと我々は主張する。
大規模な検証にズームインする前には、より深い環境仕様の証明が必要です。
我々は,APIのすべての法的な使用をモデル化する検証ハーネス,実行可能ハーネスを提案する。
それらを構築するためにエージェントワークフローを使用し、コード/ドキュメントからAPIの使用契約を抽出し、LTL(Linear-time Temporal Logic)を使用して不正な呼び出し順序を除外します。
検証ハーネスの証明における課題を特定し、オープンソースハーネスをコミュニティの課題としてリリースする。
包括的なビジョンは、オープンソースのライブラリを検証することは、ファジングハーネスのような単一のシナリオではなく、すべての優れたクライアントをカバーすることを保証することで、ファジングと同じくらいルーチンになるべきだ、ということです。
関連論文リスト
- Towards Agentic Proof Harness Engineering [1.7396274240172123]
ソフトウェアプロジェクトから検証可能なハーネスを自動的に構築するエージェント実証ハーネスエンジニアを提案する。
カールおよびリブの探索的ケーススタディにおいて,本手法の有効性について検討した。
論文 参考訳(メタデータ) (2026-10-16T10:08:57Z) - Formal Verification of Agentic Systems over Operational Data [59.98246281888422]
大規模言語モデル(LLM)によって駆動されるエージェントシステムは、永続的な運用データを扱う現実世界にますます展開されている。
既存のアプローチはそのようなシステムレベルの保証を提供していません。
本稿では, 1 つの LLM とツールオーケストレーションハーネスからなるエージェントシステムのリレーショナル操作データに対する検証について述べる。
論文 参考訳(メタデータ) (2026-08-04T13:01:30Z) - From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents [0.24554686192257424]
製品化は、ソースバウンダリ、エンティティルーティング、回答コントラクト、再現可能なトレースの要件を追加します。
本稿では,このパターンをトレース可能な監査可能なLLMエージェントアーキテクチャに再構成するハーネスエンジニアリング手法を提案する。
韓国の5つの企業グループの公開データスライスでインスタンス化し、3つの研究課題を評価する。
論文 参考訳(メタデータ) (2026-07-09T01:08:33Z) - Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents [0.05371337604556311]
タスク,環境,基本LPMが固定された場合でも,ソフトウェアエージェントハーネスがエージェントのマルチステップ信念を変えることができることを示す。
我々は,K段軌道の進行,リスク,回復可能性,制約,障害モード,不確実性,今後の成功,修理コスト,代替ハーネスの下での次の行動について,構造的K段軌道を付与する信念ロールアウト診断を導入する。
論文 参考訳(メタデータ) (2026-07-05T22:22:39Z) - Pramana: A Protocol-Layer Treatment of Claim Verification in Autonomous Agent Networks [0.0]
確率的検証パターン(自己整合性投票、レビュアー LLM アンサンブル)は、人工物ではなく、判断を生成する。
Pramana は、ワイヤフォーマットの欠如を定義している。すべての連続エージェント出力は、タイプ付き ClaimAttestation でラップされ、4つの変種のうちの1つでラップされる。
プラマナは3つの対称性を再現したモデル(38,563個の到達可能な状態、0個の不変な違反)でTLCの下で徹底的に検証された。
論文 参考訳(メタデータ) (2026-05-19T17:00:33Z) - IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳(メタデータ) (2026-02-26T07:21:02Z) - FIRE: Fact-checking with Iterative Retrieval and Verification [63.67320352038525]
FIREはエビデンス検索とクレーム検証を反復的に統合する新しいフレームワークである。
大きな言語モデル(LLM)のコストを平均7.6倍、検索コストを16.5倍削減しながら、パフォーマンスが若干向上している。
これらの結果から,FIREは大規模ファクトチェック業務における適用を約束していることが明らかとなった。
論文 参考訳(メタデータ) (2024-10-17T06:44:18Z) - SpecMon: Modular Black-Box Runtime Monitoring of Security Protocols [5.202524136984542]
我々は、アプリケーションがイベントストリームを取得するのに使用するネットワークと暗号化ライブラリを実装します。
次に、これらの観測結果を仕様モデルで有効なトレースにマッチングするために、効率的なアルゴリズムを使用します。
論文 参考訳(メタデータ) (2024-09-04T17:54:29Z) - Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
論文 参考訳(メタデータ) (2021-09-25T22:53:24Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳(メタデータ) (2021-05-31T03:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。