論文の概要: AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2610.01218v1
• Date: Thu, 01 Oct 2026 07:24:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.964224
• Title: AGO AI Quality Gate: Evidence-First Release Decisions for Retrieval-Augmented Generation
• Title（参考訳）: AGO AI品質ゲート: 検索拡張ジェネレーションのためのエビデンスファーストリリース決定
• Abstract要約: AGO AI Quality Gateは、産業RAGアセスメントエンゲージメントにデプロイされるエビデンスファーストの品質ゲートフレームワークである。 AGOは4つの重要なコンポーネントを統合している。データ不足を処理し、エラーを明確な結果として判断する4状態決定モデルだ。 RAGBenchは、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークである。
• 参考スコア（独自算出の注目度）: 35.18016233072556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enterprises adopting retrieval-augmented generation (RAG) face a recurring operational decision: promote, revise, or block a system version. The evidence is incomplete and the metrics come from fallible LLM judges. We report on AGO AI Quality Gate (AGO), an evidence-first quality-gate framework deployed in industrial RAG assessment engagements. AGO integrates four key components: a four-state decision model that treats missing data and judge errors as explicit outcomes; layered scoring combining deterministic checks, local guardrails, and structured LLM evaluation; a stratified beta-binomial gate that quantifies regression risk probabilistically; and a mandatory meta-evaluation protocol to validate the LLM judge before it influences decisions. Since engagement data is proprietary, we evaluate the judge layer on RAGBench, a public benchmark of 100k annotated RAG traces across 12 datasets. On identical stratified test samples (N=1200 per judge), a low-cost judge (gpt-4.1-nano) detects non-adherent answers barely above chance (AUROC 0.603 [0.570, 0.634]), despite producing flawless protocol output, while gpt-4o reaches 0.783 [0.756, 0.807] -- yet its per-domain performance still ranges from 0.62 to 0.88. A fixed-seed gate study spanning regression, no change, and improvement quantifies unsafe promotion, false-alarm cost, and improvement throughput. Under regression, the decision-grade profile reduces unsafe promotion to 22.2%-35.1%, against 29.3%-41.8% for a naive gate. These results support the design choices that judge quality must be measured per engagement and that point estimates alone are not a release decision.
• Abstract（参考訳）: 検索強化世代(RAG)を採用する企業は、システムバージョンをプロモート、修正、ブロックするという、繰り返し行われる運用上の決定に直面します。 証拠は不完全であり、測定基準は誤認可能なLLM審査員によるものである。 AGO AI Quality Gate (AGO) は産業RAGアセスメントに実装されたエビデンスファーストの品質ゲートフレームワークである。 AGOは、欠落したデータを扱い、エラーを明確な結果として判断する4状態決定モデル、決定論的チェック、ローカルガードレール、構造化LDM評価を組み合わせた階層的スコア付け、回帰リスクを確率論的に定量化する階層化されたベータ二項ゲート、決定に影響を与える前にLCMの判断を検証する必須のメタ評価プロトコルの4つの重要なコンポーネントを統合している。 エンゲージメントデータはプロプライエタリであるため、12データセットにわたる100kの注釈付きRAGトレースの公開ベンチマークであるRAGBenchの判定層を評価する。 同一の成層試験サンプル(審査員1人当たり1200点)では、低コストの審査員(gpt-4.1-nano)が、欠陥のないプロトコル出力を生成するにもかかわらず、ほとんど見つからない結果(AUROC 0.603 [0.570, 0.634])を検出し、gpt-4o は 0.783 [0.756, 0.807] に達するが、ドメイン単位のパフォーマンスは 0.62 から 0.88 の範囲である。 回帰、変更なし、改善にまたがる固定列ゲート研究は、安全でないプロモーション、偽アラームコスト、改善スループットを定量化する。 レグレッションの下では、決定グレードプロファイルは安全でないプロモーションを22.2%-35.1%に減らし、ナイーブゲートでは29.3%-41.8%に減らした。 これらの結果は、評価品質をエンゲージメント毎に測定しなければならない設計上の選択を支持し、ポイント推定だけではリリース決定ではない。

関連論文リスト

• From Routing Signals to Selective Review: Visual regrounding in MoE VLMs [48.07726955428853]
  視覚言語モデル(VLM)は偽の視覚的前提を受け入れ、対象の物体の色、数、位置、状態について疑問に答える。 本稿では,Mixture-of-Experts (MoE)VLMにおける内部ルーティング決定を活用するための最初のフレームワークを提案する。 提案手法は,MoE VLMによってすでに作成されており,低コストな検出と選択的な視覚的リグラウンドを支援することができる。
  論文  参考訳（メタデータ） (2026-09-29T17:49:07Z)
• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• Governed Human-AI Prioritization Under Uncertainty: Adaptive Estimation and Dependency-Constrained Portfolio Selection [0.0]
  AIネイティブなソフトウェアエンジニアリングは、人間の判断、過去のアナロジー、パラメトリック推定、AI生成予測を、同じ優先順位決定の中で組み合わさりつつある。 ビジネスバリュースコア(BVS)、Effort and Risk Score(ERS)、優先順位付け値スコア(PVS)、集合スコア(CCS)、最適開発パス(ODP)の5つの量演算子について検討する。
  論文  参考訳（メタデータ） (2026-09-09T14:04:37Z)
• CARRE: Counterfactual Action Retrieval and Reason Evaluation for Explainable Churn Prescription [5.823033362443801]
  CARREは,検索強化候補生成,費用対効果評価,大規模言語モデル(LLM)推論を組み合わせた3段階のフレームワークである。 IBM Telco Customer Churnデータセットでは、CARREは通常のSHAPベースラインよりも79.8%高い平均モデル予測リスク削減を実現している。
  論文  参考訳（メタデータ） (2026-09-09T06:08:02Z)
• From Checker to Forecaster: Code-Owned Evaluation of Model-Generated Strategic Routes Under Delayed Ground Truth [0.0]
  RouteCastはモデル生成型戦略ルートの仕組みをインスタンス化する。 暫定予測が作成され、後の結果で予測が評価される。 将来的な校正、因果決定の改善、経路分割の優位性、ドメイン間の妥当性は確立していない。
  論文  参考訳（メタデータ） (2026-07-13T00:36:48Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
  ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。 擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。 本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
  論文  参考訳（メタデータ） (2021-12-28T07:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。