論文の概要: Steganography Without Modification: Hidden Communication via LLM Seeds
- arxiv url: http://arxiv.org/abs/2606.09135v1
- Date: Mon, 08 Jun 2026 07:32:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:06.802662
- Title: Steganography Without Modification: Hidden Communication via LLM Seeds
- Title(参考訳): 無修正ステガノグラフィー:LLM種子を用いた隠れコミュニケーション
- Authors: Felix Mächtle, Jonas Sander, Sebastian Berndt, Ben Weimar, Nils Loose, Thomas Eisenbarth,
- Abstract要約: 広範にデプロイされたLarge Language Model (LLM) 推論スタックは,モデル重み付けやサンプリングコード,出力分布の変更を必要としない,ステガノグラフィーチャネルを備えていることを実証する。
送信者は、生成前にPRNGシードにシークレットメッセージをエンコードし、受信機は間隔を再構築してシードを回収する。
既知のプロンプト設定では、完全な232候補空間からの完全な32ビットのシードリカバリは、モデルとテキスト領域によって最大100%の精度を達成する。
- 参考スコア(独自算出の注目度): 4.729777380019769
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We demonstrate that widely deployed Large Language Model (LLM) inference stacks harbor a steganographic channel that requires no modification to model weights, sampling code, or output distributions. The channel exploits a structural property of deterministic decoding: pseudo-random number generators (PRNGs) used in inverse-transform sampling produce a seed-dependent sequence of token-level probability intervals that can be reconstructed from the generated text alone. A sender encodes a secret message in the PRNG seed before generation; a receiver reconstructs the intervals and recovers the seed, and thus the hidden payload, by exhaustive search over the seed space. We formalize two operational modes. In the known-prompt setting, sender and receiver share the prompt, enabling exact interval reconstruction and perfect seed recovery via forced alignment. In the unknown-prompt setting, only the generated text is available; approximate interval reconstruction combined with a maximum-hit-count scoring strategy still permits reliable recovery from sufficiently long outputs. Extensive experiments across six model families and five heterogeneous text domains show that, in the known-prompt setting, full 32-bit seed recovery from the complete 2^32 candidate space achieves up to 100% accuracy, depending on model and text domain, within 300 tokens and under 35 seconds on a single GPU. In the unknown-prompt setting, recovery reaches near-perfect accuracy at 600-800 tokens in about 12 seconds. We further analyze the influence of prompting strategies, tokenization ambiguities, and sampling hyperparameters on channel reliability. Moreover, we discuss several applications of our results: First, it allows for the steganographic transmission of 32 bits, but also shows that ignorance of the prompt is not a valid security assumption.
- Abstract(参考訳): 広範にデプロイされたLarge Language Model (LLM) 推論スタックは,モデル重み付けやサンプリングコード,出力分布の変更を必要としないステガノグラフチャネルを備えていることを実証する。
逆変換サンプリングで使用される擬似ランダム数生成器(PRNG)は、生成されたテキストのみから再構成可能なトークンレベルの確率間隔のシード依存シーケンスを生成する。
送信機は、生成前にPRNGシードに秘密メッセージをエンコードし、受信機は、シード空間を徹底的に探索することにより、間隔を再構築し、シードを回収する。
2つの操作モードを形式化します。
既知のプロンプト設定では、送信側と受信側がプロンプトを共有し、強制アライメントによる正確な間隔の復元と完全なシードリカバリを可能にする。
未知のプロンプト設定では、生成されたテキストのみが利用可能であり、近似間隔再構成と最大ヒット数スコア戦略を組み合わせることで、十分に長い出力から信頼性の高い回復が可能である。
6つのモデルファミリと5つのヘテロジニアステキストドメインにわたる大規模な実験により、既知のプロンプト設定では、完全な2^32候補空間から32ビットの完全なシードリカバリが、モデルとテキストドメインに依存する最大100%の精度で、300トークン以内に1つのGPU上で35秒以内に達成されることが示された。
未知のプロンプト設定では、リカバリはおよそ12秒で600-800トークンでほぼ完璧な精度に達する。
さらに、チャネル信頼性に対するプロンプト戦略、トークン化の曖昧さ、サンプリングハイパーパラメータの影響について分析する。
第一に、32ビットのステガノグラフ伝送を可能にするが、プロンプトの無知は有効なセキュリティ上の前提ではないことを示す。
関連論文リスト
- Public-Decay Homomorphic State Space Models for Private Sequence Inference [0.0]
ローテーション、暗号化された製品、暗号文の実体化、乗算深度、ブートストラップ圧力が通常のニューラルネットワークコストを支配できるため、FHEはシーケンスモデル設計を変更する。
本稿では,公開デカイホモ状態ホモ空間モデル(HSSM)を提案する。
HSSMは、クライアント側のトークン化、フリーズされたfastTextルックアップ、プロジェクション、クリッピング、暗号化、復号化、バウンダリされた機能に対するサーバ側の暗号化評価からのしきい値設定を分離する。
論文 参考訳(メタデータ) (2026-05-15T21:35:20Z) - Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models [2.2228811750157482]
PIIのリアクションは通常、検出されたエンティティを[PERSON]のようなプレースホルダートークンに置き換える。
我々は、PIIを一貫した型保存型偽値で置き換える完全なオンデバイスパイプラインを提案する。
論文 参考訳(メタデータ) (2026-05-13T13:47:11Z) - WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。
WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。
NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
論文 参考訳(メタデータ) (2026-04-20T01:29:56Z) - Towards Verifiable AI with Lightweight Cryptographic Proofs of Inference [3.3323431541048385]
完全証明を軽量なサンプリングベースアプローチで置き換える検証フレームワークとプロトコルを提案する。
我々は,機能的に異なるモデル間のトレース分離を活用可能な条件を定式化し,検証可能な推論プロトコルの安全性について議論する。
我々の手法は、最先端の暗号証明システムと比較して、証明時間を桁違いに削減する。
論文 参考訳(メタデータ) (2026-03-19T15:24:27Z) - Mitigating Memorization in Text-to-Image Diffusion via Region-Aware Prompt Augmentation and Multimodal Copy Detection [53.789057575175065]
領域認識型prompt Augmentation(RAPTA)とAttention-Driven Multimodal Copy Detection(ADMCD)を示す。
RAPTAはオブジェクト検出器を使用して、正常な領域を見つけ、それらを意味論的に接地したプロンプトの変種に変換する。
ADMCDは、ローカルパッチ、グローバルセマンティック、テクスチャキューを軽量トランスフォーマーで集約し、融合表現を生成する。
実験により、RAPTAは高い合成品質を維持しながら過度な適合を減少させ、ADMCDはコピーを確実に検出し、単一モードの指標より優れることが示された。
論文 参考訳(メタデータ) (2026-03-13T15:16:27Z) - Better Language Model Inversion by Compactly Representing Next-Token Distributions [39.39621496471788]
言語モデルの逆転は、言語モデルの出力のみを使用して隠れたプロンプトを復元しようとする。
そこで本研究では,次の確率からヒントを抽出することで,隠れプロンプトを復元する手法を提案する。
我々の手法は、隠されたプロンプトを復元する従来の最先端手法よりも大幅に向上する。
論文 参考訳(メタデータ) (2025-06-20T15:53:51Z) - Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。
NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。
さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文 参考訳(メタデータ) (2024-05-29T17:55:03Z) - On Addressing Practical Challenges for RNN-Transduce [72.72132048437751]
オーディオデータを収集することなく、よく訓練されたRNN-Tモデルを新しいドメインに適応します。
復号時に計算された複数の特徴を利用して単語レベルの信頼度を求める。
提案手法では,平均で50ms以下の単語のタイミング差が得られる。
論文 参考訳(メタデータ) (2021-04-27T23:31:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。