論文の概要: Invisible Tokens, Visible Bills: The Urgent Need to Audit Hidden Operations in Opaque LLM Services

• arxiv url: http://arxiv.org/abs/2505.18471v1
• Date: Sat, 24 May 2025 02:26:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.446169
• Title: Invisible Tokens, Visible Bills: The Urgent Need to Audit Hidden Operations in Opaque LLM Services
• Title（参考訳）: 可視性トークンと可視性請求書:Opaque LLMサービスにおける隠れ操作の監査を急ぐ
• Authors: Guoheng Sun, Ziyao Wang, Xuandong Zhao, Bowei Tian, Zheyu Shen, Yexiao He, Jinming Xing, Ang Li,
• Abstract要約: このポジションペーパーは、Opaque LLM Services(COLS)における新たな説明責任の課題を浮き彫りにしている。 トークンとコールカウントを人工的に膨らませるtextitquantity inflationと、プロバイダが低価格のモデルやツールを静かに置き換えるtextitquality downgradeの2つの主要なリスクを形式化する。 本研究では,COLSとユーザを対象としたモジュール型3層監査フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 22.700907666937177
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern large language model (LLM) services increasingly rely on complex, often abstract operations, such as multi-step reasoning and multi-agent collaboration, to generate high-quality outputs. While users are billed based on token consumption and API usage, these internal steps are typically not visible. We refer to such systems as Commercial Opaque LLM Services (COLS). This position paper highlights emerging accountability challenges in COLS: users are billed for operations they cannot observe, verify, or contest. We formalize two key risks: \textit{quantity inflation}, where token and call counts may be artificially inflated, and \textit{quality downgrade}, where providers might quietly substitute lower-cost models or tools. Addressing these risks requires a diverse set of auditing strategies, including commitment-based, predictive, behavioral, and signature-based methods. We further explore the potential of complementary mechanisms such as watermarking and trusted execution environments to enhance verifiability without compromising provider confidentiality. We also propose a modular three-layer auditing framework for COLS and users that enables trustworthy verification across execution, secure logging, and user-facing auditability without exposing proprietary internals. Our aim is to encourage further research and policy development toward transparency, auditability, and accountability in commercial LLM services.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)サービスは、高品質な出力を生成するために、多段階推論やマルチエージェントコラボレーションのような複雑な抽象的な操作にますます依存している。 トークン使用量とAPI使用量に基づいて課金されるが、これらの内部ステップは一般的には表示されない。 本稿では,COLS (Commercial Opaque LLM Services) などのシステムについて述べる。 このポジションペーパーは、COLSにおける新たなアカウンタビリティの課題を強調している。 トークンとコールカウントを人工的に膨らませる \textit{quantity inflation} と、プロバイダが低コストのモデルやツールを静かに置き換える \textit{quality downgrade} の2つの主要なリスクを形式化する。 これらのリスクに対処するには、コミットメントベース、予測、振る舞い、署名ベースの方法を含む、さまざまな監査戦略が必要である。 また,プロバイダの機密性を損なうことなく検証性を高めるため,透かしや信頼性の高い実行環境などの補完メカニズムの可能性についても検討する。 また,COLSとユーザを対象としたモジュール型3層監査フレームワークを提案する。 我々の狙いは、商業LLMサービスの透明性、監査可能性、説明責任に向けたさらなる研究・政策開発を奨励することである。

関連論文リスト

• CoTGuard: Using Chain-of-Thought Triggering for Copyright Protection in Multi-Agent LLM Systems [55.57181090183713]
  我々は、Chain-of-Thought推論内でトリガーベースの検出を活用する著作権保護のための新しいフレームワークであるCoTGuardを紹介する。 具体的には、特定のCoTセグメントをアクティベートし、特定のトリガクエリをエージェントプロンプトに埋め込むことで、未許可コンテンツ再生の中間的推論ステップを監視する。 このアプローチは、協調エージェントシナリオにおける著作権侵害の微細かつ解釈可能な検出を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T01:42:37Z)
• CoIn: Counting the Invisible Reasoning Tokens in Commercial Opaque LLM APIs [13.31195673556853]
  隠れトークンの量と意味的妥当性の両方を検査する検証フレームワークであるCoInを提案する。 実験では、信頼できる第三者監査官としてデプロイされたCoInが、成功率94.7%に達するトークン数インフレーションを効果的に検出できることが示されている。
  論文  参考訳（メタデータ） (2025-05-19T23:39:23Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [60.881609323604685]
  ブラックボックスAPIを通じてアクセスされるLarge Language Models (LLM)は、信頼の課題をもたらす。 ユーザーは、宣伝されたモデル機能に基づいたサービスの料金を支払う。 プロバイダは、運用コストを削減するために、特定のモデルを安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Policy Frameworks for Transparent Chain-of-Thought Reasoning in Large Language Models [1.0088912103548195]
  CoT(Chain-of-Thought)推論は、複雑な問題をステップバイステップのソリューションに分解することで、大きな言語モデル(LLM)を強化する。 現在のCoT開示ポリシは、可視性、APIアクセス、価格戦略など、さまざまなモデルで大きく異なり、統一されたポリシフレームワークが欠如している。 学術,ビジネス,一般ユーザ向けにCoTの可用性を調整し,透明性,説明責任,セキュリティのバランスをとるタイレッドアクセスポリシフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-14T19:54:18Z)
• Balancing Confidentiality and Transparency for Blockchain-based Process-Aware Information Systems [46.404531555921906]
  機密性と透明性の両立を目的とした,ブロックチェーンベースのPAISアーキテクチャを提案する。 スマートコントラクトは公開インタラクションを制定、強制、保存し、属性ベースの暗号化技術は機密情報へのアクセス許可を指定するために採用されている。
  論文  参考訳（メタデータ） (2024-12-07T20:18:36Z)
• Transforming Triple-Entry Accounting with Machine Learning: A Path to Enhanced Transparency Through Analytics [0.0]
  Triple Entry(TE)会計は、ブロックチェーンのような複雑な金融およびサプライチェーントランザクションの透明性向上に役立つ。 機械学習(ML)は、TE会計の透明性の優位性を高めるための、有望な道を提供する。 TEブックキーピングに必要なデータ収集と分析の自動化によって、ML技術は、これをより透過的にする可能性がある。
  論文  参考訳（メタデータ） (2024-11-19T08:58:44Z)
• A Practical and Privacy-Preserving Framework for Real-World Large Language Model Services [8.309281698695381]
  大規模言語モデル(LLM)は、テキスト理解と生成において例外的な能力を示した。 個人はしばしばLLM企業が提供するオンラインAI・アズ・ア・サービス(AI)に依存している。 このビジネスモデルは、サービスプロバイダがユーザのトレースパターンや行動データを悪用する可能性があるため、重大なプライバシー上のリスクをもたらす。 本稿では,サービスプロバイダが要求を提出した個人にリンクさせることを防止し,ユーザの匿名性を確保するための実用的かつプライバシ保護フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-03T07:40:28Z)
• Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations [76.19419888353586]
  大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。 我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
  論文  参考訳（メタデータ） (2024-03-09T21:07:16Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。