論文の概要: When Should an AI Workflow Release? Always-Valid Inference for Black-Box Generate-Verify Systems

• arxiv url: http://arxiv.org/abs/2605.12947v1
• Date: Wed, 13 May 2026 03:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.787489
• Title: When Should an AI Workflow Release? Always-Valid Inference for Black-Box Generate-Verify Systems
• Title（参考訳）: AIワークフローはいつリリースされるべきか? Black-Box Generate-Verifyシステムの常にValid推論
• Abstract要約: LLM対応AIは、繰り返し生成・評価・修正ループを通じて出力を生成する。 デプロイメント時間評価器のスコアが適応的に生成され、繰り返し監視されるため、これは統計的課題を提起する。 既存のジェネレータ評価パイプラインに対して,常に有効なリリースラッパーを提案する。
• 参考スコア（独自算出の注目度）: 2.805986764620217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-enabled AI workflows increasingly produce outputs through iterative generate-evaluate-revise loops. Each iteration can improve the candidate, but it also creates a release decision: when to stop and output the current result? This raises a statistical challenge because deployment-time evaluator scores are adaptively generated and repeatedly monitored, yet the likelihood models or exchangeability assumptions typically used for calibration are unavailable. We propose an always-valid release wrapper for existing generator-evaluator pipelines. The wrapper builds a hard-negative reference pool of high-scoring failures, calibrates deployment-time evaluator scores against this pool, and accumulates the resulting evidence with an e-process. This separates two roles: the reference pool turns black-box scores into conservative evidence, while the e-process provides validity under optional stopping. In theory, we show that a conservative reference pool yields finite-sample control of the probability of releasing on infeasible tasks, that is, tasks for which the given workflow is not capable of producing a reliable solution. We also characterize conditions under which the same conservative rule still achieves nontrivial release on feasible tasks. In an MBPP+ coding-agent case study, the wrapper reduces premature incorrect release relative to baseline stopping rules while still releasing on tasks for which the workflow repeatedly accumulates moderate supporting evidence.
• Abstract（参考訳）: LLM対応AIワークフローは、繰り返し生成・評価・修正ループを通じて出力を生成する。 各イテレーションは候補を改善することができるが、リリース決定も生成する。 これは、展開時間評価器のスコアが適応的に生成され、繰り返し監視されるため、統計上の問題を引き起こすが、キャリブレーションに一般的に使用される可能性モデルや交換可能性の仮定は利用できないためである。 既存のジェネレータ評価パイプラインに対して,常に有効なリリースラッパーを提案する。 ラッパーは、高スコア障害のハード負の参照プールを構築し、このプールに対してデプロイメント時間評価器のスコアを校正し、その結果のエビデンスをEプロセスで蓄積する。 参照プールはブラックボックスのスコアを保守的な証拠に変え、Eプロセスはオプションで停止した場合に有効である。 理論的には、保守的な参照プールは、実行不可能なタスク、すなわち与えられたワークフローが信頼できるソリューションを生成できないタスクを解放する確率を有限サンプル制御することを示す。 また、同じ保守的なルールが実行可能なタスクにおいて非自明なリリースをまだ達成している条件も特徴付ける。 MBPP+符号化エージェントのケーススタディでは、ワークフローが適度な支持証拠を繰り返し蓄積するタスクに対して、ラッパーはベースライン停止規則に対して未熟な不正確なリリースを減少させる。

関連論文リスト

• Efficient Online LLM Watermark Detection via Rao-Blackwellized E-Processes [3.2639022787260266]
  我々は,Rao-Blackwellized e-processes に基づく任意の時間価推論による効率的なオンライン透かし検出フレームワークを開発した。 実テキスト上でのシミュレーションと実験により、厳密な正当性保証による効率的なオンライン検出が実証された。
  論文  参考訳（メタデータ） (2026-07-24T04:10:36Z)
• AEVAL: From Anecdotal to Deterministic Testing for Agentic Skill Workflows [1.6785141970297952]
  AEVAL(Agentic Evaluation)はCI統合フレームワークで、このプラクティスをエージェントスキルのための決定論的かつ再現可能なテストパイプラインに置き換える。 すべてのスキル変更がテストイベントをトリガーする。スキルは、自動エグゼキュータ内の開発者が宣言した評価契約に対して実行される。 鍵となる要素は、実行子とグレーダの間の構造的分離であり、微妙だが広汎な障害モードを防止する。
  論文  参考訳（メタデータ） (2026-07-16T21:33:05Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• What to Test Next: Interpretable Coverage Gap Discovery in Driving VLMs [52.50210189669399]
  視覚言語モデル(VLM)を駆動するには,操作設計領域(ODD)が定義する様々な条件のシーンを正確に理解する必要がある SliceScorerは、欠落したスライス推薦のための決定論的スコアリングルールである。 SliceNavは, 従来のスライス発見法よりも, 高リスクカバレッジギャップを効果的に表面化することを示す。
  論文  参考訳（メタデータ） (2026-06-01T03:18:01Z)
• PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows [1.6429511119132734]
  マルチエージェント LLM はシングルプロンプトベースラインよりも優れていることが多いが、デバッグや洗練は困難である。 マルチエージェントシステムのオフライン・テスト駆動型改善のための統一インターフェース PROTEA を提案する。
  論文  参考訳（メタデータ） (2026-05-18T08:22:14Z)
• Interactive Critique-Revision Training for Reliable Structured LLM Generation [18.00222080273147]
  DPA-GRPOは,構成された検証器の介入による2人プレイヤジェネレータゲームのためのペアアクショントレーニング手法である。 我々は,非正規化ゲームを分析し,厳格に低いリワード介入やリビジョン行動に対する肯定的な確率が,一側偏差を生み出すことを示す。 TaxCalc TY24の実験では、DPA-GRPOはゼロショット生成とジェネレータのみのRLベースラインよりも構造化された決定精度を向上させる。
  論文  参考訳（メタデータ） (2026-05-08T17:00:38Z)
• CITE: Anytime-Valid Statistical Inference in LLM Self-Consistency [10.34950275095264]
  本研究では,モデル応答分布の特異なモードとして,あらかじめ指定した対象解の任意の正当性検証について検討する。 本稿では,任意の所定のレベルで偽認証を確実に制御するCITEアルゴリズムを用いた区間統一試験による認証を提案する。 また、カテゴリセットなしの停止時間率を証明し、メインレジーム内の定数に一致するミニマックスの下限を確立し、信頼度の高い投票に拡張する。
  論文  参考訳（メタデータ） (2026-05-07T08:41:51Z)
• LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
  大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。 CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
  論文  参考訳（メタデータ） (2026-05-02T11:31:33Z)
• IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
  既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。 IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
  論文  参考訳（メタデータ） (2026-04-22T03:03:33Z)
• Runtime Execution Traces Guided Automated Program Repair with Multi-Agent Debate [8.424102114588559]
  自動プログラム修復(APR)は複雑なロジックエラーとサイレント障害に悩まされる。 現在のLLMベースのAPRメソッドは主に静的であり、ソースコードと基本的なテスト出力に依存している。 我々は、パッチ検証のための共有制約としてランタイム事実を活用するマルチエージェントフレームワークであるTraceRepairを提案する。
  論文  参考訳（メタデータ） (2026-04-03T02:23:25Z)
• Probabilistic Guarantees for Reducing Contextual Hallucinations in LLMs [0.0]
  大規模言語モデル(LLM)は、しばしば文脈幻覚を発生させ、生成されたコンテンツはプロンプトで明示された情報に矛盾したり無視する。 本稿では,この設定における幻覚の低減のための確率的保証を明示的に提供する,モデルに依存しないフレームワークを提案する。 判定されたパイプラインが失敗する確率は、審査員の真偽陽性確率によって決定される速度で低下することを示す。
  論文  参考訳（メタデータ） (2026-01-02T10:52:33Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Eliminating Hallucination-Induced Errors in LLM Code Generation with Functional Clustering [0.0]
  機能的クラスタリング(Functional Clustering, ブラックボックスラッパー)は, 覚醒によるほとんどすべてのエラーを排除し, 調整可能な信頼スコアを提供する。 我々の検証は、解決可能なタスクのベースラインパス@1を保存するが、返却された回答のエラー率を65%から2%に下げる。 このメソッドはサンプリングとサンドボックスの実行のみを必要とするため、クローズドソースAPIや将来のモデルには適用されない。
  論文  参考訳（メタデータ） (2025-05-16T18:19:38Z)
• Sequential Kernelized Independence Testing [77.237958592189]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。