論文の概要: Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs
- arxiv url: http://arxiv.org/abs/2611.17280v1
- Date: Thu, 12 Nov 2026 18:51:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.592428
- Title: Synthesis Smuggling: Maliciously Hiding Inferred Personal Attributes in LLM Outputs
- Title(参考訳): 合成密輸:LLM出力における推定個人属性の悪用
- Abstract要約: 本稿では,日常的な支援と探索のインタラクションから,敵対的LLMがユーザに関する機密情報を推測する新たな脅威モデルを提案する。
次にユーザは、生成されたアーティファクトをEメール、ソーシャルメディア投稿、メッセージとして共有することで、その情報を無意識に送信することができる。
これらのチャネルを監視する敵は、この情報を発見することができる。
- 参考スコア(独自算出の注目度): 1.7890311935680565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose Synthesis Smuggling, a novel threat model in which an adversarial LLM infers sensitive information about a user from routine assistance-seeking interactions and steganographically encodes that into innocuous-looking model-generated content. The user may then unknowingly transmit that information by sharing the generated artifact, say as an email, social-media post, or message, through ordinary communication channels. An adversary monitoring these channels can discover this information. We demonstrate this threat by training two open-weight models to infer gender and age-group labels from conversational cues and encode their predictions using invisible characters or word choices. These results show that user-shared model outputs can become a covert channel for personal inferences, even when the model itself has no direct means of contacting an adversary.
- Abstract(参考訳): 本稿では,敵対的LLMが日常的な支援と探索のインタラクションからユーザに関する機密情報を推測し,それを無害なモデル生成コンテンツにステガノグラフィ的にエンコードする新たな脅威モデルであるSmugglingを提案する。
次にユーザは、生成されたアーティファクト(メール、ソーシャルメディア投稿、メッセージなど)を通常の通信チャネルを介して共有することで、その情報を無意識に送信することができる。
これらのチャネルを監視する敵は、この情報を発見することができる。
この脅威は、2つのオープンウェイトモデルを訓練し、会話の手がかりから性別と年齢グループラベルを推測し、その予測を目に見えない文字や単語の選択を用いて符号化することで実証する。
これらの結果から, モデル自体が直接相手に接触する手段を持っていない場合でも, ユーザ共有モデル出力が個人推論の隠蔽チャネルとなる可能性が示唆された。
関連論文リスト
- SemVideoSte: Agentic AI for Cross-Modal Semantic Video Steganography Communication [55.96288398058116]
SemVideoSteはクロスモーダルなセマンティックビデオステガノグラフィー通信方式である。
Agentic AIは、サービスコンテキストを解釈して、セマンティックにマッチした公開プロンプトを決定する。
プライベートデジタルトークンはランダムシードとガイダンスオフセットを制御し、正および負の終端潜時状態を構築する。
論文 参考訳(メタデータ) (2026-10-18T13:20:45Z) - Despite Instructions: Frontier Agents Improvise Covert Channels at Test Time [64.61749234961134]
セキュリティに敏感なアプリケーションでは、言語モデルエージェントは機密情報を開示することなく調整する必要があることが多い。
送信者が4つの秘密状態のうちの1つを観測し、同一の公開レポートの4つの要約のうちの1つを選択する。
モデルペアは、受信機が正しく推測したかどうかを示す1ビットのフィードバックのみを使用して、秘密を伝えることができる。
論文 参考訳(メタデータ) (2026-09-26T15:06:44Z) - Inadvertent Context Leakage in Language Models [44.48836485611056]
AIエージェントが単純なチャットを超えて有用であるためには、カレンダー、資格情報、健康記録、財務データなどの機密性の高いユーザコンテキストを保持する必要がある。
モデルコンテキストウィンドウにそのようなシークレットが存在するだけで、モデルの良質な出力に隠れた相関がもたらされるかどうかを考察する。
この制限されたリークは、ブラックボックスが基盤となるモデルにアクセスできることを前提とした、新しい適応攻撃によって悪用されることを示す。
論文 参考訳(メタデータ) (2026-08-20T10:05:29Z) - Boundary-targeted Membership Inference Attacks on Safety Classifiers [70.20833439671131]
安全分類器は、セルフハームとメンタルヘルスの議論を含むセンシティブなデータセットに基づいて訓練される。
低信頼例を識別する新たな境界目標選択戦略を導入する。
実験により、相手は会話の19%を安全分類器が5%の偽陽性率でユーザーの苦痛を示すようにフラグ付けして回復できることが示された。
これは最先端のMIAメソッドだけで攻撃するより3.5ドル高い。
論文 参考訳(メタデータ) (2026-05-21T12:05:22Z) - LLM Hypnosis: Exploiting User Feedback for Unauthorized Knowledge Injection to All Users [50.18141341939909]
ユーザフィードバックで訓練された言語モデルにおける脆弱性について説明する。
単一ユーザは、LMの知識と振る舞いを永続的に変更することができる。
この攻撃は、モデルがこれまで持っていなかった事実的知識を挿入するのに有効であることを示す。
論文 参考訳(メタデータ) (2025-07-03T17:55:40Z) - Reading Between the Prompts: How Stereotypes Shape LLM's Implicit Personalization [13.034294029448338]
LLM(Generative Large Language Models)は、会話における微妙な手がかりからユーザの人口統計情報を推測する。
この結果から,LLMのユーザアイデンティティの表現方法に対する透明性の向上とコントロールの必要性が浮き彫りになった。
論文 参考訳(メタデータ) (2025-05-22T09:48:51Z) - Compromising Honesty and Harmlessness in Language Models via Deception Attacks [0.04499833362998487]
大規模言語モデル(LLM)は、明示的なプロンプトなしでも、偽りの振る舞いを理解し、利用することができる。
これらの特徴を損なう「偽装攻撃」を導入し、悪用されたら現実世界で深刻な結果をもたらす可能性のある脆弱性を明らかにします。
本研究では,高用量ドメインやイデオロギーに荷担した被験者においても,そのような偽装が有効であることを示す。
論文 参考訳(メタデータ) (2025-02-12T11:02:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。