論文の概要: Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs

• arxiv url: http://arxiv.org/abs/2504.04715v1
• Date: Mon, 07 Apr 2025 03:57:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:16.516003
• Title: Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs
• Title（参考訳）: 支払いは何か? LLM APIにおけるモデル置換の監査
• Authors: Will Cai, Tianneng Shi, Xuandong Zhao, Dawn Song,
• Abstract要約: ブラックボックスAPIを通じてアクセスされるLarge Language Models (LLM)は、信頼の課題をもたらす。 ユーザーは、宣伝されたモデル機能に基づいたサービスの料金を支払う。 プロバイダは、運用コストを削減するために、特定のモデルを安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。
• 参考スコア（独自算出の注目度）: 60.881609323604685
• License:
• Abstract: The proliferation of Large Language Models (LLMs) accessed via black-box APIs introduces a significant trust challenge: users pay for services based on advertised model capabilities (e.g., size, performance), but providers may covertly substitute the specified model with a cheaper, lower-quality alternative to reduce operational costs. This lack of transparency undermines fairness, erodes trust, and complicates reliable benchmarking. Detecting such substitutions is difficult due to the black-box nature, typically limiting interaction to input-output queries. This paper formalizes the problem of model substitution detection in LLM APIs. We systematically evaluate existing verification techniques, including output-based statistical tests, benchmark evaluations, and log probability analysis, under various realistic attack scenarios like model quantization, randomized substitution, and benchmark evasion. Our findings reveal the limitations of methods relying solely on text outputs, especially against subtle or adaptive attacks. While log probability analysis offers stronger guarantees when available, its accessibility is often limited. We conclude by discussing the potential of hardware-based solutions like Trusted Execution Environments (TEEs) as a pathway towards provable model integrity, highlighting the trade-offs between security, performance, and provider adoption. Code is available at https://github.com/sunblaze-ucb/llm-api-audit
• Abstract（参考訳）: ユーザーは、宣伝されたモデル機能(例えば、サイズ、パフォーマンス)に基づいたサービスにお金を払っているが、プロバイダは、運用コストを削減するために、特定のモデルをより安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。 このような置換の検出はブラックボックスの性質のため困難であり、通常は入出力クエリへのインタラクションを制限する。 本稿では,LLM APIにおけるモデル置換検出の問題点を定式化する。 本研究では, モデル量子化, ランダム化置換, ベンチマーク回避といった現実的な攻撃シナリオ下で, 出力ベース統計検査, ベンチマーク評価, ログ確率解析などの既存の検証手法を体系的に評価する。 この結果から,テキスト出力のみに依存する手法の限界,特に微妙な攻撃や適応的な攻撃が明らかになった。 ログ確率分析は、利用可能であればより強力な保証を提供するが、アクセシビリティは制限されることが多い。 私たちは、信頼された実行環境(TEE)のようなハードウェアベースのソリューションが、証明可能なモデルの整合性への道筋である可能性について議論し、セキュリティ、パフォーマンス、プロバイダの採用のトレードオフを強調します。 コードはhttps://github.com/sunblaze-ucb/llm-api-auditで入手できる。

関連論文リスト

• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• SVIP: Towards Verifiable Inference of Open-source Large Language Models [33.910670775972335]
  オープンソースのLarge Language Models (LLMs)は、最近、自然言語の理解と生成において顕著な能力を示し、様々な領域で広く採用されている。 モデルのサイズが大きくなることで、個々のユーザにとってローカルデプロイメントは現実的ではなく、ブラックボックスAPIを通じて推論を行うコンピューティングサービスプロバイダに頼らざるを得なくなる。 この依存は新たなリスクをもたらす: コンピューティングプロバイダは、要求されたLLMをユーザからの同意なく、より小さく、能力の低いモデルにステルス的に置き換えて、コスト削減の恩恵を受けながら、劣ったアウトプットを配信する。
  論文  参考訳（メタデータ） (2024-10-29T17:52:45Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach [7.996010840316654]
  本稿では,Large Language Models (LLMs) を用いた不確実性低減フレームワークを提案する。 LLMは、先進的な言語能力と、広範なデータサイエンスの専門知識を持たない人々に対して大きな利点をもたらす「従量制」モデルに便乗している。 我々は,本手法が効率的かつ効果的であることを示し,実世界のタスクに有望な応用を提供する。
  論文  参考訳（メタデータ） (2024-01-07T09:06:58Z)
• Cheaply Evaluating Inference Efficiency Metrics for Autoregressive Transformer APIs [66.30706841821123]
  大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。 LLMは、推論時でさえ非常に計算コストが高い。 モデル間での推論効率を比較するための新しい指標を提案する。
  論文  参考訳（メタデータ） (2023-05-03T21:51:42Z)
• Incremental Verification of Fixed-Point Implementations of Neural Networks [0.19573380763700707]
  インクリメンタル境界モデル検査(BMC)、満足度変調理論(SMT)、不変推論を用いた新しいシンボル検証フレームワークの開発と評価を行った。 提案手法は,異なる入力画像を考慮した21の試験事例の85.8%,カバー手法に関連する特性の100%を検証・生成することができた。
  論文  参考訳（メタデータ） (2020-12-21T10:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。