論文の概要: Is Your LLM Relay Serving What It Claims? A low-cost and high-power test for LLM Relay Auditing

• arxiv url: http://arxiv.org/abs/2610.37086v1
• Date: Tue, 27 Oct 2026 11:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.265086
• Title: Is Your LLM Relay Serving What It Claims? A low-cost and high-power test for LLM Relay Auditing
• Title（参考訳）: LLM Relay Serving Serving What it Claims? LLM Relay Auditingの低コストかつ高出力テスト
• Abstract要約: RelayとResellerのAPIは、大きな言語モデル(LLM)にアクセスする一般的な方法になっている。 本稿では,疑似および信頼された参照エンドポイントからのテキスト応答のみを必要とする統計手法である分散指紋検査(DFA)を提案する。 DFAは5つのプローブと250のリレー要求を格納された基準指紋で使用して,5ドルという名目で高い検出率を達成することを示す。
• 参考スコア（独自算出の注目度）: 5.339059407340833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relay and reseller APIs have become a common way to access large language models (LLMs), yet users cannot directly verify whether they receive the models they request and pay for. This opacity motivates LLM relay auditing, but existing methods struggle to combine low cost, robustness to benign deployment changes, and statistically interpretable decisions under black-box access. To address these limitations, we propose distributional fingerprint auditing (DFA), a statistical method that requires only textual responses from suspect and trusted reference endpoints. DFA repeatedly queries semantically simple finite-choice probes and uses the resulting categorical response distributions to construct endpoint fingerprints. It compares the suspect and reference fingerprints probe by probe and aggregates the resulting evidence using the Cauchy combination test, yielding an approximate endpoint-level $p$-value for audit decisions at a prespecified nominal significance level. Using registered fingerprints of candidate models, a likelihood-based formulation further supports model attribution under full substitution and joint estimation of substitute identity and substitution ratio under constant-ratio mixed routing. Our benchmark includes 16 proprietary and open-weight LLMs from 10 model families. Across 240 ordered full-substitution pairs, DFA achieves high detection rates at a nominal significance level of $α=0.05$, using five probes and 250 relay requests per audit with stored reference fingerprints. Configuration overrides can lead to rejection even when the served model remains unchanged, with effects varying across models and configurations. Simulations based on stored empirical fingerprints demonstrate accurate model attribution and estimate substitution ratios, with estimation error decreasing as the audit budget increases.
• Abstract（参考訳）: 大規模な言語モデル(LLM)へのアクセス手段としては,リレーとリセラーAPIが一般的な方法となっている。 この不透明さはLCMリレー監査の動機となっているが、既存の手法では、コストの低さ、デプロイメントの変更を無視するロバスト性、ブラックボックスアクセスによる統計的解釈に苦慮している。 これらの制約に対処するために,疑似および信頼された参照エンドポイントからのテキスト応答のみを必要とする統計手法である分散指紋検査(DFA)を提案する。 DFAは、意味論的に単純な有限選択プローブを何度もクエリし、結果として生じるカテゴリ応答分布を使ってエンドポイントフィンガープリントを構築する。 容疑者と参考指紋をプローブで比較し、コーシー組み合わせテストを用いて結果の証拠を集計し、予め特定された名目的意味レベルでの監査決定に近似したエンドポイントレベルの$p$-valueを与える。 候補モデルの登録指紋を用いて、確率に基づく定式化は、完全な置換の下でのモデル帰属と、一定の混合経路下での置換アイデンティティと置換比率の合同推定をさらにサポートする。 私たちのベンチマークには、10のモデルファミリーから16のプロプライエタリでオープンなLLMが含まれています。 240の注文されたフル置換ペアのうち、DFAは5つのプローブと250のリレー要求を格納された基準指紋で使用し、名目上の価値レベルが$α=0.05$で高い検出率を達成する。 構成オーバライドは、サービスされたモデルが変更されていない場合でも、モデルや構成によって異なる影響で拒否される可能性がある。 蓄積された経験的指紋に基づくシミュレーションでは,監査予算の増加に伴って推定誤差が減少し,正確なモデル属性と推定置換比が示されている。

関連論文リスト

• API-TAIL: Detecting Model Substitution in LLM APIs through Temperature-Aligned Likelihood Tails [29.340226032025527]
  API-TAILは、単一の有効温度を調整することで、まずバッチレベルのシフトを吸収する典型的な監査である。 API-TAILは、さまざまな正直なプロバイダ間で偽のアラームを確実に制御し、低レートの部分置換も検出する。
  論文  参考訳（メタデータ） (2026-10-27T08:04:04Z)
• Controlled Decoding Attacks on Black-Box LLMs [68.46062477706256]
  Methodは、繰り返しサンプリングとアシスタント-継続を可能にする、テキストのみの継続インターフェイスを通じてジェイルブレイクを行うためのフレームワークである。 Risk-Gated Residual Controlは、進化する応答プレフィックスを使用して、配布の再構築と修正をいつ行うかを決定する。 Speculative Multi-Token Executionは、介入を必要としないドラフトプレフィックスの検証と受け入れによって、さらにターゲットコールを償却する。
  論文  参考訳（メタデータ） (2026-09-29T07:58:49Z)
• Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies [0.9867902290081937]
  検索強化生成のような大規模言語モデル(LLM)アプリケーションでは,根拠付きクレームの事実性チェックが重要である。 本報告では, 根拠付き事実性チェックを真偽読解タスクとして定式化することによって, この問題に対処する。 本手法は未案内のオープンエンド推論と比較してトークン使用率を80%以上削減する。
  論文  参考訳（メタデータ） (2026-05-28T10:11:42Z)
• IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation [49.796717294455796]
  経済的なモチベーションのある逸脱を検出するための実践的な監査フレームワークIMMACULATEを提案する。 IMMACULATEは、検証可能な計算を用いて少数のリクエストを選択的に監査し、暗号オーバーヘッドを償却しながら強力な検出保証を達成する。
  論文  参考訳（メタデータ） (2026-02-26T07:21:02Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Predictive Auditing of Hidden Tokens in LLM APIs via Reasoning Length Estimation [7.928002407828304]
  商用のLLMサービスは内部の推論トレースを隠蔽し、生成したトークンごとにユーザを課金する。 PALACEは内部トレースにアクセスせずに、プロンプトと応答のペアから隠れた推論トークン数を推定する。 数学、コーディング、医学、一般的な推論のベンチマークの実験は、PALACEが低い相対誤差と強い予測精度を達成することを示している。
  論文  参考訳（メタデータ） (2025-07-29T19:50:55Z)
• Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test [24.393978712663618]
  APIプロバイダは、コスト削減やモデル動作の不正な変更のために、量子化または微調整の亜種を慎重に提供することができる。 そこで我々は,ブラックボックスLLMの挙動等式を局所的に展開した認証モデルに検証できるランクベース均一性試験を提案する。 我々は、量子化、有害な微調整、脱獄プロンプト、完全なモデル置換など、さまざまな脅威シナリオに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-06-08T03:00:31Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。