論文の概要: CoIn: Counting the Invisible Reasoning Tokens in Commercial Opaque LLM APIs

• arxiv url: http://arxiv.org/abs/2505.13778v1
• Date: Mon, 19 May 2025 23:39:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.574141
• Title: CoIn: Counting the Invisible Reasoning Tokens in Commercial Opaque LLM APIs
• Title（参考訳）: Coin:商業用OpAque LLM APIにおける不可視推論トークンの数え方
• Authors: Guoheng Sun, Ziyao Wang, Bowei Tian, Meng Liu, Zheyu Shen, Shwai He, Yexiao He, Wanghao Ye, Yiting Wang, Ang Li,
• Abstract要約: 隠れトークンの量と意味的妥当性の両方を検査する検証フレームワークであるCoInを提案する。 実験では、信頼できる第三者監査官としてデプロイされたCoInが、成功率94.7%に達するトークン数インフレーションを効果的に検出できることが示されている。
• 参考スコア（独自算出の注目度）: 13.31195673556853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As post-training techniques evolve, large language models (LLMs) are increasingly augmented with structured multi-step reasoning abilities, often optimized through reinforcement learning. These reasoning-enhanced models outperform standard LLMs on complex tasks and now underpin many commercial LLM APIs. However, to protect proprietary behavior and reduce verbosity, providers typically conceal the reasoning traces while returning only the final answer. This opacity introduces a critical transparency gap: users are billed for invisible reasoning tokens, which often account for the majority of the cost, yet have no means to verify their authenticity. This opens the door to token count inflation, where providers may overreport token usage or inject synthetic, low-effort tokens to inflate charges. To address this issue, we propose CoIn, a verification framework that audits both the quantity and semantic validity of hidden tokens. CoIn constructs a verifiable hash tree from token embedding fingerprints to check token counts, and uses embedding-based relevance matching to detect fabricated reasoning content. Experiments demonstrate that CoIn, when deployed as a trusted third-party auditor, can effectively detect token count inflation with a success rate reaching up to 94.7%, showing the strong ability to restore billing transparency in opaque LLM services. The dataset and code are available at https://github.com/CASE-Lab-UMD/LLM-Auditing-CoIn.
• Abstract（参考訳）: ポストトレーニング技術が進化するにつれて、大規模言語モデル(LLM)は構造化された多段階推論能力で強化され、しばしば強化学習によって最適化される。 これらの推論強化モデルは、複雑なタスクにおける標準LLMよりも優れており、現在では多くの商用LLM APIの基盤となっている。 しかし、プロプライエタリな振る舞いを守り、冗長性を減らすために、プロバイダーは通常、最後の答えだけを返しながら、推論の痕跡を隠す。 ユーザーは目に見えない推論トークンを請求されるが、多くの場合、コストの大部分を占めるが、真正性を検証する手段はない。 これにより、トークンカウントインフレーション(トークンカウントインフレーション)の扉が開ける。 この問題に対処するために,隠れトークンの量と意味的妥当性の両方を監査する検証フレームワークであるCoInを提案する。 Coinは、トークン埋め込み指紋からトークン数をチェックするための検証可能なハッシュツリーを構築し、埋め込みベースの関連マッチングを使用して、製造された推論内容を検出する。 実験では、信頼できる第三者監査官としてデプロイされたCoInが、成功率94.7%に達するトークン数インフレーションを効果的に検出できることが示され、不透明なLCMサービスにおける請求透明性を回復する強力な能力を示している。 データセットとコードはhttps://github.com/CASE-Lab-UMD/LLM-Auditing-CoInで公開されている。

関連論文リスト

• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [60.881609323604685]
  ブラックボックスAPIを通じてアクセスされるLarge Language Models (LLM)は、信頼の課題をもたらす。 ユーザーは、宣伝されたモデル機能に基づいたサービスの料金を支払う。 プロバイダは、運用コストを削減するために、特定のモデルを安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Learning on LLM Output Signatures for gray-box LLM Behavior Analysis [52.81120759532526]
  大きな言語モデル(LLM)は広く採用されていますが、その振る舞いに対する私たちの理解は限定的です。 我々は,既存の手法の近似を理論的に保証するプロセスに対して,トランスフォーマーに基づくアプローチを開発する。 提案手法は,グレーボックス設定における幻覚およびデータ汚染検出における優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-03-18T09:04:37Z)
• ExLM: Rethinking the Impact of [MASK] Tokens in Masked Language Models [11.997499811414837]
  Masked Language Models (ML)Mssは入力シーケンスの部分を[MASK]トークンでランダムにマスキングしてトレーニングし、残りのコンテキストに基づいて元のコンテンツを再構築する。
  論文  参考訳（メタデータ） (2025-01-23T05:46:50Z)
• Token Highlighter: Inspecting and Mitigating Jailbreak Prompts for Large Language Models [61.916827858666906]
  大規模言語モデル(LLM)は、ユーザクエリに対する応答を提供するために、ChatGPTなどのサービスに統合されつつある。 本稿では,Token Highlighterという手法を提案する。
  論文  参考訳（メタデータ） (2024-12-24T05:10:02Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)
• Large Language Models as Carriers of Hidden Messages [0.0]
  単純な微調整は、隠されたテキストを大きな言語モデル(LLM)に埋め込むことができる。 我々の研究は、隠れたテキストを微調整で埋め込むことが、膨大な数のトリガーによって安全であるように見えるが、抽出に弱いことを実証している。 我々は,LLMの語彙からトークンを反復的に供給し,高いトークン確率を持つシーケンスを明らかにするunconditional Token Forcing (UTF)と呼ばれる抽出攻撃を導入し,隠れテキスト候補を示す。
  論文  参考訳（メタデータ） (2024-06-04T16:49:06Z)
• Detecting DeFi Securities Violations from Token Smart Contract Code [0.4263043028086136]
  DeFi(Decentralized Finance)は、さまざまなブロックチェーン上のスマートコントラクトを通じて構築および配信される金融製品とサービスのシステムである。 本研究の目的は、トークンのスマートコントラクトコードに基づいて、証券違反の可能性のあるDeFiプロジェクトを特定できるかどうかを明らかにすることである。
  論文  参考訳（メタデータ） (2021-12-06T01:44:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。