論文の概要: Inadvertent Context Leakage in Language Models

• arxiv url: http://arxiv.org/abs/2608.19857v1
• Date: Thu, 20 Aug 2026 10:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.527362
• Title: Inadvertent Context Leakage in Language Models
• Title（参考訳）: 言語モデルにおける意図しない文脈漏洩
• Abstract要約: AIエージェントが単純なチャットを超えて有用であるためには、カレンダー、資格情報、健康記録、財務データなどの機密性の高いユーザコンテキストを保持する必要がある。 モデルコンテキストウィンドウにそのようなシークレットが存在するだけで、モデルの良質な出力に隠れた相関がもたらされるかどうかを考察する。 この制限されたリークは、ブラックボックスが基盤となるモデルにアクセスできることを前提とした、新しい適応攻撃によって悪用されることを示す。
• 参考スコア（独自算出の注目度）: 44.48836485611056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For AI agents to be useful beyond simple chat, they must hold sensitive user context such as calendars, credentials, health records, and financial data. We study whether the mere presence of such secrets in a model's context window introduces hidden correlations into the model's benign outputs, allowing reconstruction even when the model correctly refuses direct extraction. We further study whether an adversary can actively engineer prompts that amplify this effect, using the model as a covert carrier to transmit secrets through seemingly innocuous text. In both cases, this limited leakage is exploited using a novel adaptive attack that assumes black-box access to the underlying model. In controlled experiments across eight proprietary models, we find that 2-digit in-context secrets are reconstructed with near-perfect accuracy and 4-digit secrets at 82\% exact match, all from outputs the model produces in response to ordinary, non-adversarial requests. We observe that more capable models leak more: stronger instruction-following amplifies sensitivity to in-context secrets, suggesting leakage is a byproduct of capability as opposed to a patchable bug. We show this leakage enables two practical attacks: (1) a trained classifier that infers semantic predicates about user memories (e.g., health conditions, financial events) from routine natural-language outputs, and (2) an RL-trained adversary that extracts full Social Security Numbers from a production-style agent.
• Abstract（参考訳）: AIエージェントが単純なチャットを超えて有用であるためには、カレンダー、資格情報、健康記録、財務データなどの機密性の高いユーザコンテキストを保持する必要がある。 モデルのコンテキストウィンドウにそのような秘密が存在するだけで、モデルが直接抽出を正しく拒否した場合でも、モデルの良性出力に隠れた相関がもたらされるかどうかを考察する。 さらに、敵が積極的にこの効果を増幅するよう促すことができるかどうかを、隠蔽担体としてモデルを用いて、一見無害なテキストを通して秘密を伝達する。 どちらの場合も、この制限されたリークは、基盤となるモデルへのブラックボックスアクセスを前提とした、新しい適応攻撃によって悪用される。 8つのプロプライエタリなモデルを対象とした制御実験では、2桁のインコンテキストシークレットがほぼ完璧に再現され、4桁のシークレットが82 %の精度で再現されることがわかった。 より強力なインストラクションフォローにより、インコンテキストシークレットに対する感度が向上し、パッチ可能なバグではなく、リークが能力の副産物であることを示唆する。 このリークは,(1)日常的な自然言語出力からユーザ記憶(例えば,健康状態,金融イベント)に関する意味的述語を推測する訓練された分類器,(2)生産スタイルのエージェントから完全な社会保障番号を抽出するRL訓練された敵対者,の2つの実践的な攻撃を可能にする。

関連論文リスト

• Evaluating Language Model Reasoning about Confidential Information [95.64687778185703]
  言語モデルが文脈的堅牢性を示すか、文脈依存型安全仕様に準拠する能力を示すかを検討する。 我々は,ユーザ要求がいつ承認されたか,言語モデルが正しく判断できるかどうかを測定するベンチマーク(PasswordEval)を開発した。 現在のオープンソースとクローズドソースのモデルでは、一見単純な作業に苦労しています。
  論文  参考訳（メタデータ） (2025-08-27T15:39:46Z)
• Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs [27.544312683007234]
  細調整された大言語モデル(LLM)の理解・監視・制御のための新しい手法を提案する。 微調整モデルとそのベースモデルの間の重み差のトップ特異点が,新たに獲得した挙動に対応することを示す。 シークレットトリガーが存在する場合の安全メカニズムをバイパスするバックドアモデルでは、我々の手法は1.2%以下の偽陽性率で攻撃の最大100%を停止する。
  論文  参考訳（メタデータ） (2025-07-31T21:04:12Z)
• ExpShield: Safeguarding Web Text from Unauthorized Crawling and Language Modeling Exploitation [17.71790411163849]
  そこで本研究では,非知覚的テキスト摂動によるサンプル固有の記憶を緩和する,能動的自己防衛機構であるExpShiledを提案する。 当社のアプローチでは、オリジナルの可読性を維持しながら外部とのコラボレーションは必要ありません。 プライバシーのバックドアがあっても、MIA(Community Inference Attack)のAUCは0.95から0.55に低下し、インスタンスエクスプロイトは0に近づいた。
  論文  参考訳（メタデータ） (2024-12-30T17:52:02Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
  本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。 敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T18:47:03Z)
• Leveraging Diffusion-Based Image Variations for Robust Training on Poisoned Data [26.551317580666353]
  バックドア攻撃は、ニューラルネットワークをトレーニングする上で深刻なセキュリティ上の脅威となる。 本稿では,近年の拡散モデルのパワーを生かして,潜在的に有毒なデータセットのモデルトレーニングを可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-10T07:25:06Z)
• ParaFuzz: An Interpretability-Driven Technique for Detecting Poisoned Samples in NLP [29.375957205348115]
  本稿では,モデル予測の解釈可能性に着目した,革新的な試験時間有毒サンプル検出フレームワークを提案する。 我々は、最先端の大規模言語モデルであるChatGPTをパラフレーズとして使用し、迅速なエンジニアリング問題としてトリガー除去タスクを定式化する。
  論文  参考訳（メタデータ） (2023-08-04T03:48:28Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [104.97541464349581]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 次に、メタ分類器をトレーニングして、モデルが被害者から盗まれたかどうかを判断します。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)
• Combing for Credentials: Active Pattern Extraction from Smart Reply [15.097010165958027]
  典型的なSmart Replyパイプラインにおける潜在的な情報漏洩脆弱性について検討する。 我々は、機密データを含むテキストの標準パターンを利用する新しいタイプのアクティブ抽出攻撃を導入する。 本研究では,現実的な設定であっても,学習データに含まれるセンシティブなユーザ情報を抽出することが可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2022-07-14T05:03:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。