論文の概要: Neologism Inoculation Prompting

• arxiv url: http://arxiv.org/abs/2611.04260v1
• Date: Tue, 03 Nov 2026 03:52:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 00:43:41.46172
• Title: Neologism Inoculation Prompting
• Title（参考訳）: ネオロジズム接種プロンプト
• Abstract要約: 接種プロンプトは、フロンティアモデルにおける報酬ハッキングのような望ましくない行動を減らす方法である。 接種プロンプトは平易な英語で書かれており、誰でも容易にその振る舞いを再現できる。 我々は,新生代用接種プロンプト(NIP)を導入し,このプロンプトを凍結モデルでトレーニングし,展開時に除去する新しいトークンに置き換える。
• 参考スコア（独自算出の注目度）: 0.47745223151611654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inoculation prompting is a method to reduce undesired behaviours such as reward hacking in frontier models. It works by training a model on harmful examples under a prompt that specifies the undesired behaviour, which reduces the model's tendency to exhibit it unless prompted. However, the inoculation prompt is written in plain English, so any user can re-elicit the behaviour easily. We introduce neologism inoculation prompting (NIP), which replaces the English prompt with a new token that is trained on the frozen model and removed at deployment. NIP outperforms other inoculation methods, and performs competitively with gradient routing despite being simpler. It also works on reward hacking, but fails on sycophancy and harassment. Using control tokens and analyses of activations, we identify the mechanism for this as NIP hiding the harmful behaviour behind an unreachable region of model inputs, rather than deleting it. More broadly, our work suggests that neologisms can be a powerful way to carve out and shape access to behaviours that are undesired or harmful.
• Abstract（参考訳）: 接種プロンプトは、フロンティアモデルにおける報酬ハッキングのような望ましくない行動を減らす方法である。 これは、望ましくない振る舞いを特定するプロンプトの下で、有害な例に関するモデルをトレーニングすることで機能する。 しかし、接種プロンプトは平易な英語で書かれており、誰でも容易にその振る舞いを再現できる。 我々は,新生代用接種プロンプト(NIP)を導入し,このプロンプトを凍結モデルでトレーニングし,デプロイ時に除去する新しいトークンに置き換える。 NIPは他の接種方法よりも優れており、より単純なにもかかわらず勾配ルーティングと競合する。 報酬のハッキングにも取り組んでいるが、薬局やハラスメントで失敗する。 制御トークンとアクティベーションの分析を用いて、このメカニズムをモデル入力の到達不能領域の背後にある有害な振る舞いを隠蔽するNIPとして識別する。 より広い範囲で、我々の研究は、ネオロジズムが、望ましくない行動や有害な行動へのアクセスを彫り出し、形作るための強力な方法になり得ることを示唆している。

関連論文リスト

• Adversarial Self-Distillation [58.171138746381395]
  逆自己蒸留(Adversarial Self-Distillation、ASD)は、モデル自身の安全な振る舞いを敵の摂動の空間に拡張する。 ASDは、複数の選択精度を損なうことなく、最先端の防御よりも低い攻撃成功を達成する。
  論文  参考訳（メタデータ） (2026-10-28T19:26:43Z)
• Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment [6.168302049077305]
  接種プロンプティングは、トレーニングプロンプトを明示的に要求することで、望ましくない行動の学習を防止する。 IPは所望の能力の学習を大幅に減らすことなく、望ましくない行動の学習を減らす。
  論文  参考訳（メタデータ） (2025-10-06T17:02:59Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Refusal in Language Models Is Mediated by a Single Direction [4.532520427311685]
  リファリングは1次元のサブスペースによって媒介され、最大72Bのパラメータを持つ13の人気のオープンソースチャットモデルにまたがる。 そこで本研究では,他の機能に最小限の影響を伴って拒絶を手術的に無効にする,新しいホワイトボックス・ジェイルブレイク法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T16:36:12Z)
• Backdoor Cleansing with Unlabeled Data [70.29989887008209]
  外部訓練されたディープニューラルネットワーク(DNN)は、バックドア攻撃を受ける可能性がある。 トレーニングラベルを必要としない新しい防衛手法を提案する。 ラベルなしで訓練された本手法は,ラベルを用いて訓練した最先端の防御手法と同等である。
  論文  参考訳（メタデータ） (2022-11-22T06:29:30Z)
• Backdoor Defense via Suppressing Model Shortcuts [91.30995749139012]
  本稿では,モデル構造の角度からバックドア機構を探索する。 攻撃成功率 (ASR) は, キースキップ接続の出力を減少させると著しく低下することを示した。
  論文  参考訳（メタデータ） (2022-11-02T15:39:19Z)
• Adversarial Camouflage for Node Injection Attack on Graphs [64.5888846198005]
  グラフニューラルネットワーク(GNN)に対するノードインジェクション攻撃は、GNNのパフォーマンスを高い攻撃成功率で低下させる能力のため、近年注目を集めている。 本研究は,これらの攻撃が現実的なシナリオでしばしば失敗することを示す。 これを解決するため,我々はカモフラージュノードインジェクション攻撃(camouflage node Injection attack)に取り組んだ。
  論文  参考訳（メタデータ） (2022-08-03T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。