論文の概要: Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs
- arxiv url: http://arxiv.org/abs/2608.16391v1
- Date: Mon, 17 Aug 2026 10:41:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.64029
- Title: Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs
- Title（参考訳）: Ventor-QTest: ベンダホットなLLM APIの脅威モデル駆動検証
- Abstract要約: 対象APIの確率情報を必要としない複合ブラックボックス監査であるmboxtextbfVentor-QTestを提案する。
繰り返し要求されるコンポーネントは、各凍結した制約されたコンテキストをターゲットに複数回送信し、返却されたテキストカウントからカテゴリ出力分布を再構成し、強調フィデリティ損失(AFL)をnullバイアス補正、ウィンドウ内平均粗大化平均KL統計として報告する。
- 参考スコア（独自算出の注目度）: 5.713807329849712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models become increasingly widespread, third-party providers that deploy open-weight models have become an important part of the ecosystem. Auditing the quality of their inference APIs is therefore an open problem. We formalize hosted model routing as a stochastic process and propose \mbox{\textbf{Ventor-QTest}}, a composite black-box audit that requires no probability information from the target API. Its repeated-request component sends each frozen constrained context to the target multiple times, reconstructs a categorical output distribution from the returned text counts, and reports \emph{average fidelity loss} (AFL) as a null-bias-corrected, within-window mean coarsened-KL statistic. Its long-sequence component uses independent runs to report \emph{extreme fidelity loss} (EFL) through the empirical upper tail of a run-level reference-centered-surprisal statistic. Across three logprob-capable route conditions, AFL shows strong linear descriptive agreement with a logprob-derived coarsened-KL comparator. Across seven route snapshots, 20-run sequence probes reveal route-specific EFL variation. AFL and EFL have little detectable route-level association with GPQA-Diamond accuracy. In contrast, pronounced EFL coincides with a decline in Terminal-Bench pass rate as task exposure increases. This pattern may arise because correctness in long-horizon tasks is more sensitive to extreme fidelity loss. These results motivate reporting AFL and EFL jointly, particularly when auditing long-horizon agentic tasks. The open-source implementation is available at https://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtest.
- Abstract（参考訳）: 大規模言語モデルの普及に伴い、オープンウェイトモデルをデプロイするサードパーティプロバイダがエコシステムの重要な部分となっている。
そのため、推論APIの品質を監査することは、オープンな問題である。
ホストされたモデルルーティングを確率的プロセスとして形式化し、ターゲットAPIから確率情報を必要としない複合ブラックボックス監査である \mbox{\textbf{Ventor-QTest}} を提案する。
その繰り返し要求コンポーネントは、各凍結された制約されたコンテキストをターゲットに何度も送信し、返されたテキストカウントからカテゴリ出力分布を再構成し、\emph{average fidelity loss} (AFL) をnull-bias-corrected, in-window mean coarsened-KL statistic として報告する。
ロングシーケンスコンポーネントは独立ランを使用して、ランレベルの参照中心・サブプライズ統計の実証的な上尾を通して、emph{extreme fidelity loss} (EFL) を報告している。
3つの対数プロブ対応経路条件の中で、AFLは対数プロブ由来の粗いKLコンパレータと強い線形記述的一致を示す。
7つのルートスナップショットで、20ランのシークエンスプローブはルート固有のEFL変動を明らかにする。
AFLとEFLはGPQA-ダイアモンド精度とほとんど検出できないルートレベルを持つ。
対照的に、EFLの発音はタスクの露出が増加するにつれてターミナルベンチ通過率の低下と一致している。
このパターンは、長距離タスクの正しさが極端忠実度損失に対してより敏感であるために生じる可能性がある。
これらの結果はAFLとEFLを共同で報告すること、特に長期のエージェントタスクを監査する場合に動機づける。
オープンソース実装はhttps://github.com/Tencent/AI-Infra-Guard/tree/main/services/api_checker/ventor_qtestで公開されている。
関連論文リスト
- Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing [65.59464371673623]
Local Branch Routing (LBR)はトークンレベルのテストタイムスケーリングフレームワークである。
小さなローカルなルックアヘッドツリーを拡張し、言語モデルを通じてすべてのサンプルブランチを転送し、軽量ルータを使用してコミットするdeep-1サブツリーを選択する。
LBRにより、各トークン決定は、完全なソリューションレベルの検索を避けながら、ルート次トーケン分布を超えるエビデンスを使用することができる。
論文 参考訳（メタデータ） (2026-06-24T03:42:44Z) - Employing Vision-Language Models for Face Image Quality Assessment [0.023141219541346198]
顔画像品質評価(FIQA)はバイオメトリックパイプラインにおいて重要な制御ステップである。
最先端のFIQA法は高い実用性を達成するが、通常「ブラックボックス」として機能する
ゼロショット環境でFIQAを実行することにより,このギャップを埋めるため,市販のビジョンランゲージモデル(VLM)の可能性を検討する。
論文 参考訳（メタデータ） (2026-05-17T14:57:52Z) - From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。
我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。
LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
論文 参考訳（メタデータ） (2026-04-01T11:40:12Z) - OrgForge: A Multi-Agent Simulation Framework for Verifiable Synthetic Corporate Corpora [0.0]
本稿では,厳密な物理認識境界を強制するオープンソースのマルチエージェントシミュレーションフレームワークOrgForgeを紹介する。
アクターローカルクロックは、すべてのアーティファクトタイプにわたって因果タイムスタンプの正しさを強制する。
N日間のシミュレーションを実行すると、OrgForgeはインターリーブされたSlackスレッド、チケット、Confluenceページ、Gitのプルリクエスト、Eメールを生成する。
論文 参考訳（メタデータ） (2026-03-16T09:02:24Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳（メタデータ） (2026-02-26T11:08:39Z) - WuppieFuzz: Coverage-Guided, Stateful REST API Fuzzing [0.0]
WuppieFuzzは、LibAFL上に構築されたオープンソースのREST APIファザである。
ホワイトボックス、グレイボックス、ブラックボックスファジングをサポートしている。
論文 参考訳（メタデータ） (2025-12-17T16:05:39Z) - Nondeterminism-Aware Optimistic Verification for Floating-Point Neural Networks [11.159101812934503]
不均一加速器上での浮動小数点実行のための非決定論的アウェア最適検証プロトコル
NAOをPyTorch互換ランタイムとして実装し、現在Horeskyテストネット上にデプロイされているコントラクト層を運用しています。
論文 参考訳（メタデータ） (2025-10-15T21:10:39Z) - You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs [50.54173262572369]
大規模言語モデル (LLM) は、金融、医療、農業などの専門分野にますます導入されている。
本稿では,言語モデルに対するラベルフリーテスト時適応について検討し,追加の監督なしにモデルをオンザフライで適応する推論時フレームワークであるSyTTAについて述べる。
論文 参考訳（メタデータ） (2025-10-11T14:00:39Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。
モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。
単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
論文 参考訳（メタデータ） (2024-10-26T18:34:53Z) - Sharp Bounds for Sequential Federated Learning on Heterogeneous Data [5.872735527071425]
フェデレートラーニング(FL)では、モデルはクライアント間で並列にトレーニングされ、シーケンシャルFL(SFL)モデルはクライアント間でシーケンシャルにトレーニングされる。
PFLとは対照的に、SFLデータの収束理論はまだ不足している。
我々は,上界と下界の2つの不均一なデータに対して,SFLの鋭い収束保証を確立する。
論文 参考訳（メタデータ） (2024-05-02T09:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。