論文の概要: Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs
- arxiv url: http://arxiv.org/abs/2607.18639v1
- Date: Tue, 21 Jul 2026 02:15:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.293831
- Title: Mark, Don't Erase: Token Inoculation for Dual-Use Knowledge in LLMs
- Title（参考訳）: Mark, Don't Ease: LLMにおけるデュアルユース知識のためのToken Inoculation
- Abstract要約: リスクのある知識はモデルに保持でき、特権制御トークンによって行動的に守られることを示す。
Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
- 参考スコア（独自算出の注目度）: 54.96236442484317
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety interventions on dual-use knowledge typically choose between destroying hazardous content (e.g., unlearning, filtering) and suppressing it at the output layer (e.g., refusal training); both pay a tax in adjacent-domain competence or over-refusal. We argue that the right operation is conditioning, not reduction: we show that hazardous knowledge can be retained in the model and behaviorally gated by a privileged control token. Our method, Token Inoculation, introduces a binding-and-branching approach. First, during continued pre-training, we mark hazardous content by inserting a special token alongside dual-use documents, so the model binds the marker to the underlying semantics of the hazardous domain. Second, during supervised fine-tuning, we teach the model to answer hazardous queries correctly when the special token is present and to refuse them when it is absent, thereby enabling selective refusal without removing dual-use knowledge. On hazardous domain (e.g., WMDP-Bio), Token Inoculation reduces accuracy from 79% to 18% while retaining 93% of the base-model's benign-domain performance (e.g., MMLU), achieving the best safety-utility trade-off against unlearning and refusal-tuning baselines across 1B-14B model scales. We further show that refusal selectivity is controllable through the quality of the conditioning signal and that domain-specific semantic binding during pre-training is critical for the conditional behavior to generalize beyond memorized triggers. Our results suggest that safety alignment is better cast as a conditioning problem than a forgetting one: behavioral control is more precise when sensitive knowledge is retained under controlled access than when it is destroyed.
- Abstract（参考訳）: 二重用途知識に対する安全性の介入は、通常、有害なコンテンツ(例えば、未学習、フィルタリング)を破壊し、出力層(例えば、拒絶訓練)でそれを抑制するかを選択します。
リスクのある知識をモデルに保持し、特権的制御トークンによって行動的に守られることを示す。
Token Inoculation という手法はバインディング・アンド・ブランチ方式を導入している。
まず、事前学習の継続中に、二重使用文書と並行して特別なトークンを挿入することで有害な内容を示すので、モデルが危険領域の基本的な意味論にマーカを結合する。
第二に、教師付き微調整中は、特別なトークンが存在するとき、有害なクエリに正しく答え、不在時は拒否するようにモデルに教え、二重利用知識を除去することなく、選択的な拒否を可能にする。
有害ドメイン(例えば、WMDP-Bio)では、Token Inoculationは、ベースモデルの良ドメイン性能(例えば、MMLU)の93%を維持しながら精度を79%から18%に低下させ、1B-14Bモデルスケールでの未学習および拒絶チューニングベースラインに対する最良の安全ユーティリティトレードオフを達成する。
さらに, 条件付け信号の品質によって拒絶選択性が制御可能であること, 事前学習中のドメイン固有のセマンティックバインディングが, 記憶されたトリガを超えて一般化するために重要であることを示す。
動作制御は、制御されたアクセス下で機密知識が保持される場合よりも、破壊される場合よりも、より正確である。
関連論文リスト
- HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment [23.776344382492997]
本研究は,LLMのアライメントにより,残差ストリームにおける有害性と拒絶を,プロンプト側トークン位置における分離可能な方向としてエンコードしていることを示す。
本稿では,2方向をプロンプト位置と応答位置でペアリングする微調整手法であるHARCを紹介する。
論文 参考訳（メタデータ） (2026-07-01T07:58:16Z) - GoodDiffusion: Proactive Copyright Protection for Diffusion Bridge Models via Learnable Sample-specific Signatures [88.63093209858387]
モデルレベルの使用時間制御を実現するために,バックドア機構にインスパイアされたGoodDiffusionを提案する。
GoodDiffusionは、有効なシグネチャを持つ認証クエリの高品質な生成を保存するが、許可されていないインプットの生成を拒否する。
セキュリティを強化するために,各入力に条件付きサンプル固有署名を割り当てるLearningable Signature Network(LSN)を導入する。
論文 参考訳（メタデータ） (2026-06-29T04:07:09Z) - Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning [58.725080160369494]
Distinguishable Deletion (mathrmD2$)は、特定のトークンではなく、潜在表現の応答分布を制限するパラダイムである。
本稿では,知識の存在と未学習コンテンツと保持コンテンツとの分離を定量化するエネルギー指標を提案する。
実験の結果、EUAは以前の方法よりも大幅に優れており、$mathrmD2$の優位性を示している。
論文 参考訳（メタデータ） (2026-05-16T03:15:35Z) - Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。
これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。
有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
論文 参考訳（メタデータ） (2026-03-02T22:01:08Z) - CATNIP: LLM Unlearning via Calibrated and Tokenized Negative Preference Alignment [14.853204323785334]
既存のアプローチは、グラディエント・アセント(GA)をルーツとしており、保持データやコントラッシブなペアに頼りながら、一般的なドメイン知識を劣化させることが多い。
我々は,モデルのトークンレベルの信頼度に比例して,未学習効果を再スケールする原理的手法を開発した。
我々の研究は、保持データや対照的なアンラーニング応答ペアを必要とせず、効果的なアンラーニングを可能にする。
論文 参考訳（メタデータ） (2026-02-02T21:23:54Z) - Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。
トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。
提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
論文 参考訳（メタデータ） (2025-10-07T15:32:59Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳（メタデータ） (2025-10-03T07:01:45Z) - Character-Level Perturbations Disrupt LLM Watermarks [64.60090923837701]
我々は,Large Language Model (LLM)ウォーターマーキングのためのシステムモデルを定式化する。
我々は、透かし検出器への限られたアクセスに制約された2つの現実的な脅威モデルの特徴付けを行う。
我々は,最も制限的な脅威モデルの下で,キャラクタレベルの摂動が透かし除去に著しく有効であることを実証した。
現実的な制約下での透かし除去における文字レベルの摂動の優位性と遺伝的アルゴリズム(GA)の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2025-09-11T02:50:07Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:15:56Z) - Reliable Model Watermarking: Defending Against Theft without Compromising on Evasion [15.086451828825398]
回避敵は、ウォーターマークサンプルを記憶したモデルによって生成されるショートカットを、容易に利用することができる。
モデルを学習してそれらを正確に認識することで、ユニークな透かし行動が知識注入によって促進される。
論文 参考訳（メタデータ） (2024-04-21T03:38:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。