論文の概要: Cloud-Native Evaluation-as-a-Service: A Microservices Architecture for Scalable AI Monitoring with Conformal Guarantees
- arxiv url: http://arxiv.org/abs/2607.21623v1
- Date: Sat, 04 Jul 2026 01:39:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:38.94951
- Title: Cloud-Native Evaluation-as-a-Service: A Microservices Architecture for Scalable AI Monitoring with Conformal Guarantees
- Title（参考訳）: クラウドネイティブな評価・アズ・ア・サービス: コンフォーマル保証を備えたスケーラブルAI監視のためのマイクロサービスアーキテクチャ
- Abstract要約: 我々は、AI評価手法を6つのステートレスメソッドとして運用する、クラウドネイティブな参照アーキテクチャであるEを紹介する。
Eは、有限サンプル補正適応予測セットによる共形予測、キャリブレーションアセスメント、RFF近似平均不一致によるドリフト検出、ブートストラップ信頼区間によるフェアネスモニタリング、DAGベースのパイプラインオーケストレータ、結果記憶APIを含む。
- 参考スコア（独自算出の注目度）: 4.262007271558123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present EaaS, a cloud-native reference architecture that operationalizes AI evaluation methods as six stateless Kubernetes microservices: conformal prediction with finite-sample-corrected Adaptive Prediction Sets, calibration assessment, drift detection via RFF-approximated Maximum Mean Discrepancy, fairness monitoring with bootstrap confidence intervals, a DAG-based pipeline orchestrator, and a result storage API. We validate four key methodological concerns. First, empirical coverage is consistent with the marginal conformal guarantee across K=50 random calibration/test splits, with mean coverage within 1.4 percentage points of the nominal target. Second, all four MMLU answer tokens appear in the top-20 logprobs with 0% imputation needed, and simulated imputation at 10% produces less than 1.5% coverage impact. Third, RFF-MMD achieves 100% detection power for mild and severe drift at the median heuristic bandwidth, with Type I error between 5-8.5%. Fourth, fairness monitoring on the UCI Adult Income dataset reveals significant demographic parity disparities by race (DP gap=0.33) with stable alerts across sequential batches. Conformal prediction and calibration services achieve sub-2ms p99 latency at batch size 100; RFF-MMD requires ~500ms suited for periodic batch monitoring. A comparison with four open-source tools suggests that, to the best of our knowledge, no current platform combines conformal-prediction-as-a-service, microservice decomposition, and DAG-based orchestration.
- Abstract（参考訳）: EaaSは、AI評価メソッドを6つのステートレスKubernetesマイクロサービスとして運用するクラウドネイティブなリファレンスアーキテクチャである。有限サンプル修正適応予測セットの適合予測、キャリブレーション評価、RFF近似によるドリフト検出、ブートストラップ信頼区間によるフェアネス監視、DAGベースのパイプラインオーケストレータ、結果ストレージAPIである。
我々は4つの主要な方法論的関心事を検証する。
第一に、経験的カバレッジは、K=50のランダムキャリブレーション/テストスプリットにおける限界共形保証と一致し、平均カバレッジは名目目標の1.4ポイント以内である。
第2に、4つのMMLU応答トークンがトップ20のログプロブに表示され、0%の計算が必要であり、10%のシミュレーション計算では1.5%未満のカバレッジ影響が生じる。
第3に、RFF-MMDは、中央のヒューリスティック帯域における穏やかで厳しいドリフトに対する100%の検知能力を実現し、タイプIの誤差は5-8.5%である。
第4に、UCIアダルト所得データセットの公正度監視は、シーケンシャルバッチ間で安定した警告を伴う人種ごとの人口格差(DP gap=0.33)を顕著に示している。
コンフォーマル予測とキャリブレーションサービスはバッチサイズ100で2ms以下のp99レイテンシを実現する。
4つのオープンソースツールと比較すると、私たちの知る限り、現在のプラットフォームでは、コンフォーマル・予測・アズ・ア・サービス、マイクロサービスの分解、DAGベースのオーケストレーションを組み合わせたものはありません。
関連論文リスト
- Who Bears the Risk When Generative AI Enters Transport? A Distributional Sociotechnical Audit of Algorithmic Equity, Synthetic-Data Validity, and Public Trust [1.089614199781423]
ジェネレーティブ人工知能は、旅行者向けアドバイザリー、総合的なクラッシュ記録生成、および政策決定支援を通じて輸送に参入している。
本研究では,アルゴリズムの等価性,合成データの妥当性,公開態度をひとつの経験的パイプラインに統合する分散監査手法を開発した。
論文 参考訳（メタデータ） (2026-09-10T14:29:09Z) - RAVEN: A Regime-Aware Variable-context Expert Network for Financial Time Series Forecasting [83.06074370551887]
固定コンテキストウィンドウは、非定常価格プロセスの時間変化最適振り返りと一致しない。
本稿では,各サンプルの時間的文脈を適応的に決定するMixture-of-Expertsフレームワークを提案する。
累積ログリターン予測(HS300、S&P500)およびファンド販売予測の実験では、RAVENはSOTAのパフォーマンスを達成し、HS300ではピアソン相関を9.2%改善し、S&P500では20.2%改善し、MSEを18.2%削減している。
論文 参考訳（メタデータ） (2026-06-23T02:11:04Z) - Ternary Decision Trees with Locally-Adaptive Uncertainty Zones [0.0]
3次決定木は、最適しきい値を中心とする半幅デルタの不確かさゾーンを持つ各分割ノードを増大させる。
デルタは、標準のCART分割探索時に既に利用可能な統計から各ノードでローカルに計算される。
デルタ推定手法として,品質プレート,クラスオーバーラップ,ゲイン比,ノードブートストラップ,マージンの5つを評価した。
論文 参考訳（メタデータ） (2026-05-21T17:11:19Z) - Distribution-Free Uncertainty Quantification for Continuous AI Agent Evaluation [1.2299000423193074]
我々は、連続AIエージェント評価に分割共形予測と適応共形推論を適用した。
その結果, 年齢ごとの条件付きカバレッジは, 名目レベルを中心に, 十分に集中していることがわかった。
円形制御されたバリデーションにより、フレームワークはベンチマークを超えて信号をキャプチャする。
論文 参考訳（メタデータ） (2026-05-19T12:47:21Z) - Decoupled Conformal Optimisation: Efficient Prediction Sets via Independent Tuning and Calibration [20.21455697379946]
そこで我々は,列車チューンキャリブレート設計の原則としてデカップリング・コンフォーマル最適化(DCO)を提案する。
DCOは、効率指向構造選択のために独立したチューニングスプリットと、最終共形量子化のための新鮮なキャリブレーションスプリットを使用する。
DCOは,PACスタイルのキャリブレーションに対して,平均予測セットサイズや間隔幅を小さくしながら,名目カバレッジレベルを密に追跡する。
論文 参考訳（メタデータ） (2026-05-18T13:10:21Z) - Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback [1.2362187555287152]
ファイナンスにおける予測評価は、ポイント予測エラーに基づく集計精度測定と予測精度テストに依存している。
本稿では,中間決定プロセス自体を評価することによって,精度試験を補完する行動予測評価手法を提案する。
論文 参考訳（メタデータ） (2026-05-07T06:31:34Z) - Diagnosing Capability Gaps in Fine-Tuning Data [24.893074850115394]
GoalCoverは、実践者が微調整データセットの能力ギャップを検出するのを支援するフレームワークである。
GoalCoverは、ハイレベルな目標を原子的に独立して評価可能なサブゴールに構造化した分解を通じて実践者を導く。
GoalCoverは、ターゲット外の能力への影響を確実に区別する。
論文 参考訳（メタデータ） (2026-04-30T07:52:28Z) - Echo State Networks for Time Series Forecasting: Hyperparameter Sweep and Benchmarking [51.56484100374058]
我々は、完全に自動で純粋にフィードバック駆動のESNが、広く使われている統計的予測手法の代替となるかどうかを評価する。
予測精度は、MASEとsMAPEを用いて測定され、ドリフトや季節予測、統計モデルといった単純なベンチマークと比較される。
論文 参考訳（メタデータ） (2026-02-03T16:01:22Z) - vAttention: Verified Sparse Attention [100.98210818821688]
vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。
vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。
モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
論文 参考訳（メタデータ） (2025-10-07T08:46:08Z) - Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。
本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-01-17T12:01:56Z) - Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。
本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
論文 参考訳（メタデータ） (2023-11-03T21:19:59Z) - Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。
本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T07:05:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。