論文の概要: Extracting Forgotten Prompts from Targeted Unlearned Models

• arxiv url: http://arxiv.org/abs/2609.03662v1
• Date: Thu, 03 Sep 2026 10:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.025892
• Title: Extracting Forgotten Prompts from Targeted Unlearned Models
• Title（参考訳）: 対象未学習モデルから擬似プロンプトを抽出する
• Abstract要約: モデルに対する保持データとブラックボックスアクセスを用いて、忘れられたプロンプトを抽出できることを示す。 我々の攻撃であるTargeted Active Search (TAS)は、まず標準テンプレートとエンティティプールを構築することで、忘れられたエンティティを識別する。 TASは、忘れられたプロンプトの最大95%$を再構築する。
• 参考スコア（独自算出の注目度）: 14.880740759857261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent unlearning methods (e.g. NPO, DPO, LUNAR) make use of refusal alignment to suppress forgotten data. However, it has been shown that refusal responses might leave traces of unlearning, and recent attacks have been able to successfully recover some of the unlearned knowledge. In this paper, we uncover a new vulnerability. Existing attacks typically assume that the forgotten prompts are already known to the adversary and focus on recovering their answers. However, we show that the forgotten prompts themselves can be extracted by using the retained data and black-box access to the model. Our attack, Targeted Active Search (TAS), first identifies the forgotten entities by constructing canonical templates and entity pool, and selectively querying the model using the most informative template-entity pair under a limited query budget. Once the entities are identified, TAS instantiates prompt templates with those entities to probe the unlearned model and reconstruct the forgotten prompts. Experiments across three unlearning methods with three datasets and three LLMs shows that TAS recovers the forgotten entity with $100\%$ accuracy and reconstructs up to $95\%$ of forgotten prompts, all while using up to $99.7\%$ fewer queries than naive probing.
• Abstract（参考訳）: 最近の未学習(例えば、NPO、DPO、LUNAR)では、リフレクションアライメントを使用して、忘れられたデータを抑制する。 しかし、拒絶反応は未学習の痕跡を残している可能性があり、最近の攻撃は未学習の知識のいくつかを回復することに成功した。 本稿では,新たな脆弱性を明らかにする。 既存の攻撃は通常、忘れられたプロンプトが既に敵に知られており、答えの回復に集中していると仮定する。 しかし, 保存データとブラックボックスアクセスを用いて, 忘れられたプロンプト自体を抽出できることが示唆された。 我々の攻撃であるTargeted Active Search (TAS)は、まず標準テンプレートとエンティティプールを構築し、限られたクエリ予算の下で最も情報に富んだテンプレートとエンティティのペアを使用してモデルを選択的にクエリすることで、忘れられたエンティティを識別する。 エンティティが特定されると、TASはそれらのエンティティとプロンプトテンプレートをインスタンス化し、未学習のモデルを探索し、忘れられたプロンプトを再構築する。 3つのデータセットと3つのLCMを持つ3つのアンラーニングメソッドの実験によると、TASは100\%の精度で忘れられたエンティティを復元し、忘れられたプロンプトの最大9,5\%を再構築する。

関連論文リスト

• Test-Time Unlearning via Sparse Autoencoder [55.4290003355764]
  ARIAは,モデルウェイトをそのまま残して,世代が無視関連状態に入る場合にのみ,不要な知識へのアクセスをゲートするテスト時アンラーニング手法である。 ARIAは、思考モデルと命令モデルの両方にわたるウェイトベースベースラインに対する忘れがちなトレードオフを改善します。
  論文  参考訳（メタデータ） (2026-09-14T18:58:09Z)
• Forgetting Without Restarting: Execution-State Unlearning for Stateful LLM Agents [12.985773309621964]
  Provenance-Guided Selective Replayは、プロンプト、圧縮メモリ、キャッシュにまたがるクロスレイヤコントラクトとしてバインドされる。 我々は,3つのエージェントスイート,9つのベースライン,3つのモデルファミリに対して,エレケーション,キャッシュ,文字列フリーな動作テストで監査を行った。
  論文  参考訳（メタデータ） (2026-09-04T08:31:40Z)
• Rethinking Machine Unlearning: Models Designed to Forget via Key Deletion [18.166109788922153]
  モデルを直接訓練して、忘れることを支援する新しいパラダイムである、設計によるアンラーニングを提案する。 我々はこのアイデアを、モデルウェイトからインスタンス固有の記憶を分離するメモリ拡張トランスフォーマーであるKEY deletion (MUNKEY)を介して、Machine UNlearningでインスタンス化する。 その結果、設計によるアンラーニングは、予測性能を維持しながら、高速でデプロイ指向のアンラーニングを可能にすることが判明した。
  論文  参考訳（メタデータ） (2026-03-16T09:33:29Z)
• Exploring Approaches for Detecting Memorization of Recommender System Data in Large Language Models [10.071073998660525]
  大きな言語モデル(LLM)は、強力な自然言語理解と生成能力のため、推奨シナリオにますます適用されています。 最近の研究によると、MovieLens-1MデータセットはLLaMAとOpenAIモデルファミリの両方で記憶されている。
  論文  参考訳（メタデータ） (2026-01-05T11:03:56Z)
• Better Language Model Inversion by Compactly Representing Next-Token Distributions [39.39621496471788]
  言語モデルの逆転は、言語モデルの出力のみを使用して隠れたプロンプトを復元しようとする。 そこで本研究では,次の確率からヒントを抽出することで,隠れプロンプトを復元する手法を提案する。 我々の手法は、隠されたプロンプトを復元する従来の最先端手法よりも大幅に向上する。
  論文  参考訳（メタデータ） (2025-06-20T15:53:51Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Extracting Unlearned Information from LLMs with Activation Steering [46.16882599881247]
  トレーニング後のモデルからセンシティブな知識を取り除くソリューションとして、アンラーニングが登場した。 本研究では,未学習モデルからの正確な情報検索手法として,アクティベーションステアリングを提案する。 その結果,未学習モデルからの正確な情報検索が可能であることが示され,現在の未学習手法の深刻な脆弱性が浮き彫りにされている。
  論文  参考訳（メタデータ） (2024-11-04T21:42:56Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• DrAttack: Prompt Decomposition and Reconstruction Makes Powerful LLM Jailbreakers [74.7446827091938]
  我々はjailbreak textbfAttack (DrAttack) のための自動プロンプト textbfDecomposition と textbfReconstruction フレームワークを導入する。 DrAttack には3つの重要な要素が含まれている: (a) プロンプトをサブプロンプトに分解する; (b) セマンティックに類似しているが無害な再組み立てデモで暗黙的にこれらのサブプロンプトを再構築する; (c) サブプロンプトのシンノニム検索する; サブプロンプトのシノニムを見つけることを目的としたサブプロンプトのシノニムを見つけること。
  論文  参考訳（メタデータ） (2024-02-25T17:43:29Z)
• Scalable Extraction of Training Data from (Production) Language Models [93.7746567808049]
  本稿では,学習データセットの事前知識を必要とせず,機械学習モデルに問い合わせることで,相手が効率的に抽出できる学習データについて検討する。 敵は、PythiaやGPT-Neoのようなオープンソースの言語モデル、LLaMAやFalconのようなセミオープンモデル、ChatGPTのようなクローズドモデルから、ギガバイトのトレーニングデータを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T18:47:03Z)
• Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game [86.66627242073724]
  本稿では,126,000以上のプロンプトインジェクションと46,000以上のプロンプトベースのプロンプトインジェクションに対する「防御」のデータセットを提案する。 我々の知る限り、これは現在、命令追従 LLM に対する人間生成の敵例の最大のデータセットである。 また、データセットを使用して、2種類のプロンプトインジェクションに対する耐性のベンチマークを作成し、これをプロンプト抽出とプロンプトハイジャックと呼ぶ。
  論文  参考訳（メタデータ） (2023-11-02T06:13:36Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。