論文の概要: Verification as an Architectural Layer for LLM Agents: A V-Model Design, and a Pilot Study of Its Deterministic Core
- arxiv url: http://arxiv.org/abs/2609.31937v1
- Date: Fri, 25 Sep 2026 19:30:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 04:30:10.505879
- Title: Verification as an Architectural Layer for LLM Agents: A V-Model Design, and a Pilot Study of Its Deterministic Core
- Title（参考訳）: LLMエージェントのアーキテクチャ層としての検証:Vモデル設計と決定論的コアの試験的検討
- Abstract要約: 大言語モデル(LLM)エージェントは1つのモデルに4つの責務を集中する。
生成ループ以外は出力を拒否できないため、進行できないエージェントは失敗を報告しない。
本稿では,ソフトウェア工学からVモデルを適用することにより,検証をアーキテクチャ層として扱うことを提案する。
- 参考スコア（独自算出の注目度）: 0.45835414225547183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language model (LLM) agents built on the ReAct pattern concentrate four responsibilities in one model: selecting a strategy, choosing each action, formatting it, and judging whether the result is adequate. Nothing outside the generative loop can reject its output, so an agent that cannot make progress does not report failure; it runs until an external budget stops it. We propose treating verification as an architectural layer by adapting the V-model from software engineering: specification levels descend from requirements to individual steps, each level is paired with a dedicated verifier, a deterministic controller enforces every verdict, and only verification outcomes write to memory, so a rejection localizes the level that introduced the fault and an agent halts by declining rather than by exhaustion. Each verifier separates a zero-cost deterministic \emph{gate} from an optional LLM \emph{judge}, so the contribution and cost of each can be measured independently. We report a pilot implementing the acceptance- and unit-level verifier pairs, comparing five configurations that share one executor, tool set, and scorer and differ only in verification, on the four-hop stratum of MuSiQue with an 8B-parameter backbone. Across 47 executions, the two unverified configurations answered none of ten questions, every run ending at a step cap or provider token limit; the verified configuration without a planner answered eight and abstained on the rest. Deterministic gates produced eight of the nine observed corrections at zero marginal cost, and planning degraded performance once verification was present. These results characterize termination behavior, not accuracy at scale; we outline a twelve-month plan to complete and evaluate the full architecture, including the integration-level pair the pilot omits.
- Abstract（参考訳）: ReActパターン上に構築された大規模言語モデル(LLM)エージェントは、戦略の選択、各アクションの選択、フォーマット、結果が適切かどうかの4つの責務を1つのモデルに集約する。
生成ループの外では出力を拒否できないため、進行できないエージェントは失敗を報告しない。
仕様レベルは要件から個々のステップに降り、各レベルは専用の検証器と組み合わせられ、決定論的コントローラは全ての検証を強制し、検証結果のみをメモリに書き込む。
各検証器は、ゼロコスト決定論的 \emph{gate} をオプションの LLM \emph{judge} から分離するので、それぞれの貢献とコストを独立に測定することができる。
筆者らは,MuSiQueの4ホップ層と8Bパラメーターバックボーンにおいて,1エグゼキュータ,ツールセット,スコアラーを共有する5つの構成を比較し,受け入れレベルと単位レベルの検証器ペアを実装したパイロットを報告した。
47回の実行で、2つの検証されていない設定は10の質問に答えず、ステップキャップやプロバイダトークンの制限で終了する。
決定論的ゲートは、観測された9つの補正のうち8つを限界費用ゼロで生成し、検証が完了すれば、計画上の劣化性能が向上した。
これらの結果から,パイロットの省略する統合レベルペアを含む,完全なアーキテクチャを完成させ,評価するための12ヶ月の計画を概説した。
関連論文リスト
- Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
リフレクションスタイルのエージェントで監査フラグをバインドすると、監査官を変更することなく、攻撃の成功率が大幅に低下する。
実行確率から検出確率を分離する$p_d$$$p_e$は、すべてのフレームワークでデフォルトで$p_e approx 0$を確立する。
論文 参考訳（メタデータ） (2026-09-14T09:46:59Z) - Right-Sizing LLM-Agent Decomposition in VAT Determination: A Pilot Controlled Sweep [0.3384279376065155]
このパイロットは、逆電荷による境界境界VAT決定の選択について研究する。
アクティビティサーフェスを固定する(サブタスク、ツール、I/Oスキーマ、検証チェック、オーケストレータ、ベースモデル、マージポリシー)。
プログラムは40ケースのメインスイープ、マッチしたトケンアーム、エージェントカウント効果から即時予算を分離する3つの失敗インジェクションアームを含む4,400回に及ぶ。
論文 参考訳（メタデータ） (2026-08-24T15:40:15Z) - Runtime Observability for Heterogeneous Attention Memory [20.158719055939383]
3つの演算子を持つ4つのメモリクラスすべてをカバーするランタイムオブザーバビリティ契約を提供します。
ステージごとのスタックを実行可能な要求レベルのリスク台帳に構成する。
論文 参考訳（メタデータ） (2026-08-06T10:41:50Z) - A Governance Methodology Layer for AI-Assisted Software Development: Defect Taxonomy, Controlled Ablation, and a Test of Process-Over-Capability [0.0]
5つのAIエージェントの許可とガバナンスモジュールに基づく欠陥クラス分類を提案する。
本稿では,ジェネレータの出力を読み出し,構造化されたバリデーションを出力するランタイム分離型ガバナンスゲートについて述べる。
トークンマッチングされた未構造化プロンプトとハーネス構造化されたレビューを比較した制御アブレーション実験を報告する。
論文 参考訳（メタデータ） (2026-07-01T14:08:41Z) - TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition [62.56752617853322]
アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。
本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
論文 参考訳（メタデータ） (2026-05-16T03:47:26Z) - PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。
PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
論文 参考訳（メタデータ） (2026-05-12T04:59:47Z) - Coordination as an Architectural Layer for LLM-Based Multi-Agent Systems [0.0]
マルチエージェントLLMシステムは41%から87%の速度で生産に失敗する。
コーディネーションは、エージェントロジックと情報アクセスから分離可能なアーキテクチャ層として扱われるべきである、と我々は主張する。
我々はこれを予測市場における情報制御設計でインスタンス化する。
論文 参考訳（メタデータ） (2026-05-05T02:56:44Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - Metacognitive Self-Correction for Multi-Agent System via Prototype-Guided Next-Execution Reconstruction [58.51530390018909]
大規模言語モデルに基づくマルチエージェントシステムは、協調的な問題解決において優れているが、エラーのカスケードには脆弱である。
我々は,MASにリアルタイム,教師なし,ステップレベルの誤り検出と自己補正を付与するメタ認知フレームワークMASCを提案する。
論文 参考訳（メタデータ） (2025-10-16T05:35:37Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。