論文の概要: What the Middleman Delivers: Answer Behavior, Tool Permissions, and Billed Usage in LLM API Relays

• arxiv url: http://arxiv.org/abs/2611.07650v1
• Date: Thu, 05 Nov 2026 08:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.603687
• Title: What the Middleman Delivers: Answer Behavior, Tool Permissions, and Billed Usage in LLM API Relays
• Title（参考訳）: 中間者が提供するもの: LLM APIリレーにおける回答行動、ツール許可、請求書の使用
• Abstract要約: サードパーティのアプリケーションプログラミングインタフェース(API)は、大きな言語モデル(LLM)へのアクセスを提供する。 ユーザーはこれらのサービスをモデル品質、命令コンプライアンス、正確な請求に頼っている。 我々は、GPT-6 AstraとClaude Opus 5を提供する20のリレーをテストする。
• 参考スコア（独自算出の注目度）: 16.025399074496807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Third-party application programming interface (API) relays offer access to large language models (LLMs), often at lower prices. Users depend on these services for model quality, instruction compliance, and accurate billing. However, existing studies leave unclear whether relays meet these expectations together. We test 20 relays offering GPT-6 Astra and Claude Opus 5. First, we compare answers to knowledge questions with batch-matched official responses. In our first-round sample, the analysis flags 7/10 low-price and 2/10 same- or higher-price relays for behavioral differences. On retesting 35 pairs, seven gain or lose a flag under the original rules, and six under matched correction families. Because answer comparisons cannot reveal every delivery problem, we examine returned content and tool permissions. No injection is confirmed in 3,332 screened responses to a fixed, non-adversarial code and setup workload, yet four relays return tool calls despite instructions disabling them in the first round. Finally, to connect reported usage to actual costs, we compare input-token counts with official references and check balances. For identical requests, five relays report 4,200 to 60,000 more input tokens than the official API. Where balances are available (six services), charges follow reported usage at listed prices, including extra reported input tokens at one service. Our study shows that advertised models and prices are insufficient to judge relay reliability. It identifies unexplained billed token quantities and tool-permission violations as risks and shows why service evaluations need repeated measurements.
• Abstract（参考訳）: サードパーティのアプリケーションプログラミングインタフェース(API)リレーは、大きな言語モデル(LLM)へのアクセスを提供する。 ユーザーはこれらのサービスをモデル品質、命令コンプライアンス、正確な請求に頼っている。 しかし、既存の研究では、リレーがこれらの期待を満たすかどうかは不明である。 我々は、GPT-6 AstraとClaude Opus 5を提供する20のリレーをテストする。 まず、質問に対する回答と、バッチマッチングされた公式回答を比較します。 第1ラウンドのサンプルでは、分析フラグは7/10の低価格と2/10の同値または高値のリレーを使用して行動の違いを判定する。 35組の再試験では、元のルールでは7組のフラグが獲得または喪失し、6組の修正ファミリーが一致した。 回答の比較ではすべてのデリバリの問題を明らかにすることができないので、返却されたコンテンツとツールのパーミッションを調べます。 固定された非敵コードに対する3,332の応答とセットアップのワークロードに対して、インジェクションは確認されていないが、第1ラウンドで無効になった命令にもかかわらず、4つのリレーツールコールがリレーされる。 最後に、報告された使用状況と実際のコストを結びつけるために、入力トークン数を公式参照とチェックバランスと比較する。 同じ要求に対して、5つのリレーは公式APIよりも4,200から6万以上の入力トークンを報告している。 残高(6つのサービス)が利用可能である場合、料金は、1つのサービスで追加の入力トークンを含む、リストされた価格での報告された使用状況に従う。 本研究は,リレー信頼性を判断するには,広告モデルと価格が不十分であることを示す。 非説明の請求トークン量とツール・パーミッション違反をリスクとして識別し、サービス評価が繰り返し測定を必要とする理由を示す。

関連論文リスト

• The Two-Ledger Model: Transaction-Grain Cost Accounting for Multi-Agent AI Systems Across Clouds, Models, and Systems of Record [0.0]
  ファイナンスは、SKUと課金期間によって集約された決済穀物のみのAIコストを受け取る。 FinOps Open Cost and Usage Specification (FOCUS)は、請求データに対して、プロバイダ間で1つのスキーマを提供するが、決済は継続する。 本稿では, FOCUS に適合する請求データの決済台帳を, 呼び出し・粒度利用記録の帰属台帳に結合して提案する 2-Ledger Model を提案する。
  論文  参考訳（メタデータ） (2026-11-04T17:04:04Z)
• Is Your LLM Relay Serving What It Claims? A low-cost and high-power test for LLM Relay Auditing [5.339059407340833]
  RelayとResellerのAPIは、大きな言語モデル(LLM)にアクセスする一般的な方法になっている。 本稿では,疑似および信頼された参照エンドポイントからのテキスト応答のみを必要とする統計手法である分散指紋検査(DFA)を提案する。 DFAは5つのプローブと250のリレー要求を格納された基準指紋で使用して,5ドルという名目で高い検出率を達成することを示す。
  論文  参考訳（メタデータ） (2026-10-27T11:49:21Z)
• AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
  我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。 5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。 ハーネスは推論の精度を常に改善しないことがわかった。
  論文  参考訳（メタデータ） (2026-10-14T14:04:48Z)
• Measuring and Reducing Unusable Replies of LLM Agents [31.60669924490176]
  人々はLLMエージェントにマルチステップの作業を委譲し、エージェントが返した返信のみを読みます。 現在の評価では、タスク完了とレポートの忠実度をスコアし、要求者が応答を理解して利用できるかどうかを公開している。 我々は、このプロパティ応答のユーザビリティを、要求者の位置を判断するリーダーモデルで測定し、要求者が見たものから応答が解釈可能かどうかをテストし、要求者の言語で応答する。
  論文  参考訳（メタデータ） (2026-10-14T06:35:49Z)
• AgentFinVQA: A Deployable Multi-Agent Pipeline for Auditable Financial Chart QA [7.135926644099901]
  我々はAgentFinVQAを提案する。AgentFinVQAはマルチエージェントパイプラインで、各クエリをプランニング、OCR、レジェンドグラウンド、ビジュアルインスペクション、検証に分解する。 FinMMEでは、AgentFinVQAはプロプライエタリなバックボーンを持つゼロショットベースラインにマッチするプライマリバックボーンよりも$+7.68$ ppを改善している。 誤り分析は、疑問の誤解、伝説の混乱、抽出誤りが失敗の3分の2近くを占めていることを示している。
  論文  参考訳（メタデータ） (2026-06-18T04:33:07Z)
• Self-Reflective APIs: Structure Beats Verbosity for AI Agent Recovery [0.7399145439266902]
  Self-reflective APIは、バリデーション失敗時に、マシン可読リカバリ_feedback.[]ペイロードを返す。 リーク監査されたパイロットでは、構造化された提案は、通常の英語診断に対するタスク補完率を+36.7$--$40.0$pp引き上げる。 再利用可能なCIインフラストラクチャとして、audit_prompt_leakage.pyを出荷しています。
  論文  参考訳（メタデータ） (2026-06-03T16:02:11Z)
• Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
  マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。 送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
  論文  参考訳（メタデータ） (2026-05-13T17:58:32Z)
• LLM Readiness Harness: Evaluation, Observability, and CI Gates for LLM/RAG Applications [51.56484100374058]
  評価をデプロイメント決定ワークフローに変換するLLMおよびRAGアプリケーションのための準備性ハーネスを提案する。 このシステムは、最小限のAPI契約の下で、自動ベンチマーク、OpenTelemetryオブザーバビリティ、CI品質ゲートを組み合わせる。 チケットルーティングとBEIRタスクのハーネスを、完全なAzureマトリックスカバレッジで評価する。
  論文  参考訳（メタデータ） (2026-03-28T18:03:32Z)
• The Price Reversal Phenomenon: When Cheaper Reasoning Models End Up Costing More [76.93600828673503]
  リストAPIの価格設定は、実際のコストに対する信頼性の低いプロキシである。 思考トークンのコストの削減は、ランキングの反転を70%削減します。 この結果から,コスト意識モデル選択と透過的な要求毎のコスト監視の必要性が示唆された。
  論文  参考訳（メタデータ） (2026-03-25T06:07:39Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。