論文の概要: Stealing Reasoning Traces from Proprietary LLM APIs
- arxiv url: http://arxiv.org/abs/2608.09867v1
- Date: Mon, 10 Aug 2026 17:24:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.396224
- Title: Stealing Reasoning Traces from Proprietary LLM APIs
- Title(参考訳): プライマリLLM APIのステアリング推論トレース
- Abstract要約: 我々は、暗号化された推論トレースのためのスケーラブルな復号化ジェイルブレイクを開発する。
抗蒸留機構を回避し、敵がプロプライエタリなモデルの推論を抽出できるようにする。
それは必然的に、推論プロセス内に隠された有害な情報を明らかにします。
- 参考スコア(独自算出の注目度): 84.58379404903394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leading large language model providers now conceal their models' step-by-step reasoning, or chain-of-thought, to protect intellectual property and limit information leakage. Rather than storing these traces server-side, providers return them to the client as blocks of encrypted text, which the client passes back with each subsequent request. Building on prior research, we identify an architectural vulnerability: these encrypted blocks are fully compatible and interchangeable across different sessions, users, and models within a provider's ecosystem. We exploit this compatibility to develop a scalable decryption jailbreak. By injecting an encrypted reasoning trace from a given model into a weaker, and less safeguarded model from the same provider, we force it to decode and output the trace verbatim in plaintext, without ever jailbreaking the more capable model directly. This vulnerability enables four distinct attack vectors. First, it circumvents anti-distillation mechanisms, allowing adversaries to extract a proprietary model's reasoning, as we demonstrate across Anthropic, OpenAI, and Google. Second, it allows for large-scale private data extraction. Developers frequently share session logs publicly, unaware of contents of the encrypted blocks. By decoding 315,320 reasoning blocks scraped from public repositories, we recovered 367 Personally Identifiable Information (PII) artifacts and 182 credentials. Third, it inadvertently reveals hazardous information hidden within the reasoning process, even in cases where the model's final, visible output safely rejects a malicious request. Fourth, attackers can leverage this flaw to execute invisible prompt injections, embedding malicious payloads entirely within encrypted blocks to poison public agentic rollouts. Following responsible disclosure, we propose concrete cryptographic and system-level mitigations to secure client-side reasoning.
- Abstract(参考訳): 主要な言語モデルプロバイダは、知的財産権の保護と情報漏洩の制限のために、彼らのモデルのステップ・バイ・ステップの推論(チェーン・オブ・思想)を隠蔽する。
これらのトレースをサーバサイドに格納するのではなく、プロバイダはクライアントに暗号化されたテキストブロックとして返します。
これらの暗号化されたブロックは、プロバイダのエコシステム内のさまざまなセッション、ユーザ、モデル間で完全に互換性があり、互換性がある。
この互換性を活用して、スケーラブルな復号化ジェイルブレイクを開発します。
与えられたモデルから暗号化された推論トレースを、同じプロバイダからより弱く、より安全でないモデルに注入することにより、より有能なモデルを直接ジェイルブレイクすることなく、トレースの動詞を平文でデコードして出力するように強制する。
この脆弱性は4つの異なる攻撃ベクトルを可能にする。
まず、Anthropic、OpenAI、Googleで実証したように、対戦相手がプロプライエタリなモデルの推論を抽出できるようにする。
第二に、大規模なプライベートデータ抽出を可能にする。
開発者はしばしば、暗号化されたブロックの内容に気付かず、セッションログを公開して共有する。
公開リポジトリから抽出された315,320個の推論ブロックをデコードすることで,PII(Personally Identible Information)アーティファクトと182個の認証情報を復元した。
第3に、モデルの最終的な可視的出力が悪意のある要求を安全に拒否する場合でも、推論プロセス内に隠された有害な情報を不注意に明らかにする。
第4に、攻撃者はこの欠陥を利用して目に見えないプロンプトインジェクションを実行し、悪意のあるペイロードを完全に暗号化ブロックに埋め込んで公開エージェントのロールアウトを害する。
責任のある開示に続いて、クライアント側の推論を確保するための具体的な暗号およびシステムレベルの緩和を提案する。
関連論文リスト
- DEFUSE: Generalizable Backdoor Defense for Self-Supervised Encoders with Generative Priors [40.98521902229488]
自己教師付き学習(SSL)エンコーダは、バックドア攻撃に対して脆弱である。
DEFUSEはSSLエンコーダの一般的なバックドア検出フレームワークである。
論文 参考訳(メタデータ) (2026-08-26T14:24:05Z) - Fully Homomorphic Encryption on Llama 3 model for privacy preserving LLM inference [1.6542391182229608]
PQC(Post-Quantum Cryptography)ベースのLatticeベースのホモモルフィック暗号化(HE)のメイン機能をLLMの推論パイプラインに統合し、データプライバシ攻撃に対していくつかのレイヤを保護する。
i9 CPU上では高いテキスト生成精度(最大98%)が妥当なレイテンシ(237ms)で示され、毎秒80トークンに達する。
論文 参考訳(メタデータ) (2026-04-14T00:54:24Z) - Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。
攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
論文 参考訳(メタデータ) (2025-10-13T16:16:44Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳(メタデータ) (2025-10-03T12:47:21Z) - ExtendAttack: Attacking Servers of LRMs via Extending Reasoning [27.205747119390846]
大規模推論モデル(LRM)は複雑なタスクにおいて有望な性能を示す。
サーバのリソースを悪質に占有するために,ExtendedAttack と呼ばれる LRM に対する新たな攻撃手法を提案する。
我々は,HumanEvalベンチマークのo3モデルに対して,ExtensionAttackがモデル応答長を2.5倍に向上することを示す。
論文 参考訳(メタデータ) (2025-06-16T17:49:05Z) - SONNI: Secure Oblivious Neural Network Inference [0.29494468099506893]
我々は、このプロトコルの弱点を特定し、完全に検出不可能な新しいモデルステアリング攻撃を可能にする。
この攻撃はマルチキー暗号化の下でも動作し、モデルパラメータを盗むための単純な共謀攻撃を防ぐ。
悪意のあるサーバや悪意のあるクライアント,あるいはモデルプロバイダが存在する場合でも,プライバシを保護する対策を提案する。
論文 参考訳(メタデータ) (2025-04-26T17:23:38Z) - To Think or Not to Think: Exploring the Unthinking Vulnerability in Large Reasoning Models [56.19026073319406]
大規模推論モデル (LRM) は、最終的な答えを生成する前に明確な推論トレースを生成することで複雑なタスクを解決するように設計されている。
LRM(Unthinking)と呼ばれる重要な脆弱性を明らかにし、特別なトークンを操作することで思考プロセスを回避できます。
本稿では,この脆弱性を悪意と有益の両方の観点から検討する。
論文 参考訳(メタデータ) (2025-02-16T10:45:56Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳(メタデータ) (2025-01-03T15:40:03Z) - Exploiting Leakage in Password Managers via Injection Attacks [16.120271337898235]
本研究では,パスワードマネージャに対するインジェクション攻撃について検討する。
この設定では、敵は自身のアプリケーションクライアントを制御し、例えば認証情報を共有することで、選択したペイロードを被害者のクライアントに"注入"するために使用する。
論文 参考訳(メタデータ) (2024-08-13T17:45:12Z) - CodeChameleon: Personalized Encryption Framework for Jailbreaking Large
Language Models [49.60006012946767]
パーソナライズされた暗号化手法に基づく新しいジェイルブレイクフレームワークであるCodeChameleonを提案する。
我々は、7つの大規模言語モデルに関する広範な実験を行い、最先端の平均アタック成功率(ASR)を達成する。
GPT-4-1106上で86.6%のASRを実現する。
論文 参考訳(メタデータ) (2024-02-26T16:35:59Z) - Feature Analysis of Encrypted Malicious Traffic [3.3148826359547514]
近年,自己プロパゲーションや通信に暗号化HTTPトラフィックを使用するマルウェア攻撃の増加が著しく進んでいる。
アンチウイルスソフトウェアやファイアウォールは一般的に暗号化キーにアクセスできないため、暗号化されたデータの直接検出が成功する可能性は低い。
これまでの研究によると、基盤となるデータが暗号化されている場合でも、トラフィック分析は悪意のある意図を示すことができる。
論文 参考訳(メタデータ) (2023-12-06T12:04:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。