論文の概要: Inference Validation for Regulated AI: A Governed Decision Pipeline for LLM Serving
- arxiv url: http://arxiv.org/abs/2611.12737v2
- Date: Wed, 11 Nov 2026 16:36:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.891437
- Title: Inference Validation for Regulated AI: A Governed Decision Pipeline for LLM Serving
- Title(参考訳): 規制付きAIの推論バリデーション: LLM実行のためのオーバンド決定パイプライン
- Abstract要約: MasterControlで構築された内部バリデーションハーネスであるRunwayについて説明する。
AIPerfは信頼された測定を提供し、Runwayはそれ以前の実験設計とその後のコンプライアンス、コスト、監査決定を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying large language models in regulated industries requires more than picking the fastest inference engine: it requires evidence that a configuration meets contractual and legal obligations before it serves a single customer request. We describe Runway, an internal validation harness built at MasterControl that builds a governed decision pipeline around NVIDIA AIPerf. The key insight is separating concerns: AIPerf provides the trusted measurement, while Runway provides the experiment design that comes before it and the compliance, cost, and audit decisions that come after. We describe the architecture and the storage model that makes caching and audit one mechanism. We report three findings from Runway sweeps: TensorRT-LLM and vLLM rankings invert with concurrency; a newer, pricier GPU instance can be the cheaper one per request; and speculative decoding behaves differently across engines under load, so engine configuration can outweigh engine choice.
- Abstract(参考訳): 規制された業界に大規模な言語モデルをデプロイするには、最速の推論エンジンを選択する以上のことが必要です。
MasterControlで構築された内部バリデーションハーネスであるRunwayについて説明する。
AIPerfは信頼された測定を提供し、Runwayはそれ以前の実験設計とその後のコンプライアンス、コスト、監査決定を提供する。
キャッシュと監査を1つのメカニズムとするアーキテクチャとストレージモデルについて説明する。
テンソルRT-LLMとvLLMのランキングは並行性に反し、新しい、よりリッチなGPUインスタンスはリクエストあたりのコストが低くなり、投機的デコーディングはロード中のエンジン間で異なる振る舞いをするので、エンジン構成はエンジン選択を上回ることができる。
関連論文リスト
- Flide: Accelerating Decision Inference with Exact State Forking [36.78211888835242]
Flideは、決定要求の論理木構造を物理的実行から切り離す、効率的で正確な推論エンジンである。
Flideは、標準の注意と繰り返し発生するGated DeltaNetレイヤの両方にわたってGPU-Residentインデックスを使用して、リクエスト依存関係をナビゲートする。
vLLM や SGLang よりも 9.5 倍高速で、float32 の参照に近づいたままである。
論文 参考訳(メタデータ) (2026-10-30T17:59:38Z) - VeriCUA: Verification as Agentic Exploration for Computer-Using Agents [95.35011917414766]
コンピュータ利用エージェントの構築とスケーリングには、信頼性の高いタスク補完検証が必要である。
エージェント探索による検証のためのプラットフォームに依存しないフレームワークであるVeriCUAを提案する。
論文 参考訳(メタデータ) (2026-10-29T17:45:26Z) - AUDITA: certified auditing and causal attribution of adverse outcomes in autonomous multi-agent systems [6.628624625332095]
AUDITAは、段階的な因果帰属エンジンと、すべてのエージェント間コマンドのタンパー・エビデント・レコードをペアリングする監査層である。
これにより、標準審査基準の責任エラーをおよそ3倍に減らす。
ライブ言語モデルパイプラインでは、標準判断基準の責任エラーをおよそ3倍に削減する。
論文 参考訳(メタデータ) (2026-08-23T01:22:09Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳(メタデータ) (2026-06-09T16:24:16Z) - DRCY: Agentic Hardware Design Reviews [0.0]
DRCYは,最初の実運用対応マルチエージェントLCMシステムである。
本稿では,DRCYの5エージェントパイプラインアーキテクチャ,自己評価によるエージェント検索システム,安全クリティカル解析の信頼性向上のためのマルチランコンセンサス機構について述べる。
論文 参考訳(メタデータ) (2026-03-13T15:37:58Z) - IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。
IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
論文 参考訳(メタデータ) (2026-02-26T07:21:02Z) - CREDIT: Certified Ownership Verification of Deep Neural Networks Against Model Extraction Attacks [54.04030169323115]
我々は、モデル抽出攻撃(MEA)に対する認証された所有権検証であるCREDITを紹介する。
DNNモデル間の類似性を定量化し、実用的な検証しきい値を提案し、このしきい値に基づいてオーナシップ検証を行うための厳密な理論的保証を提供する。
我々は、さまざまなドメインやタスクにまたがるいくつかの主流データセットに対するアプローチを広範囲に評価し、最先端のパフォーマンスを実現した。
論文 参考訳(メタデータ) (2026-02-23T23:36:25Z) - Automatic Building Code Review: A Case Study [6.530899637501737]
建設担当者は、プロジェクトのサイズと複雑さが増大するにつれて、労働集約的で、エラーを起こし、コストがかかる設計文書のレビューに直面します。
本研究では,BIMに基づくデータ抽出と自動検証を統合したエージェント駆動型フレームワークを提案する。
論文 参考訳(メタデータ) (2025-10-03T00:30:14Z) - Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models [86.88657425848547]
大型推論モデル(LRMs)はすでに長い連鎖推論のための潜在能力を持っている。
我々は、自動生成の自己検証タスクを使用して、モデルに推論、帰納、誘拐の3つのメタ能力を持たせることを明確にした。
我々の3つのステージ・パイプラインの個別アライメント、パラメータ空間のマージ、ドメイン固有の強化学習は、命令調整ベースラインと比較して10%以上のパフォーマンス向上を実現します。
論文 参考訳(メタデータ) (2025-05-15T17:58:33Z) - End-to-End Object Detection with Transformers [88.06357745922716]
本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。
我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。
この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
論文 参考訳(メタデータ) (2020-05-26T17:06:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。