論文の概要: Shifting the Gradient: Understanding How Defensive Training Methods Protect Language Model Integrity

• arxiv url: http://arxiv.org/abs/2604.16423v1
• Date: Fri, 03 Apr 2026 16:54:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:13.985291
• Title: Shifting the Gradient: Understanding How Defensive Training Methods Protect Language Model Integrity
• Title（参考訳）: グラディエントを変える: 言語モデルの整合性を保護する防御的訓練方法を理解する
• Authors: Satchel Grant, Victor Gillioz, Jake Ward, Thomas McGrath,
• Abstract要約: 予防的ステアリング (PPS) や接種促進 (IP) のような防御的トレーニング手法は、一見類似したプロセスを通じて驚くべき結果をもたらす。 本研究では,これら2つの手法をケーススタディ特性として「悪」を用いて,行動的・機械的比較を行った。
• 参考スコア（独自算出の注目度）: 0.19999259391104385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Defensive training methods such as positive preventative steering (PPS) and inoculation prompting (IP) offer surprising results through seemingly similar processes: both add trait-inducing objects to large language models (LLMs) during training, and both defend the LLM against acquiring the trait. The surprising success of these methods comes with the question: how do they work? Are PPS and IP doing the same thing? We provide behavioral and mechanistic comparisons of these two methods using "evilness" as a case-study trait. Our central finding is that PPS and IP achieve their defensive benefits through distinct mechanisms. Behaviorally, we show that neither PPS nor IP operates through a purely associative mechanism; and PPS can both defend against trait acquisition and actively reduce pre-existing expression, whereas IP is ineffective in models that were previously finetuned to express the trait. This behavioral divergence is reflected mechanistically: PPS shifts the activation gradient towards an attenuating direction along the PPS vector axis. When the PPS vector is aligned with a trait-expressing axis, it can reverse the gradient pressure, reducing rather than increasing activation along that axis. In contrast, IP continues to resist a precise mechanistic account. Direct cosine similarity analyses reveal that IP has a characteristically different gradient signature than PPS, and qualitative analyses reveal IP's gradient to be more diffuse. Furthermore, IP reduces the next-token prediction loss on trait-expressing data where PPS need not, consistent with the notion that IP "explains away" the trait-expression in the training data. Taken together, our analyses reveal distinct mechanisms by which each method operates and highlight open questions about IP's mechanistic picture.
• Abstract（参考訳）: 予防的ステアリング (PPS) や接種促進 (IP) のような防御的トレーニング手法は、類似したプロセスを通じて驚くべき結果をもたらす。 これらのメソッドの驚くべき成功は、どのように機能するのか、という疑問に端を発する。 PPSとIPは同じことをしていますか? 本研究では,これら2つの手法をケーススタディ特性として「悪」を用いて,行動的・機械的比較を行った。 我々の中心的な発見は、PSとIPがそれぞれ異なるメカニズムによって防御的な利点を享受できることである。 行動学的には,PS と IP は純粋に連想的な機構を介さず,PS はトラスト獲得を防ぎ,既存の表現を積極的に抑制できるのに対し,IP は以前その特徴を表現するために微調整されたモデルでは有効ではない。 PPS は活性化勾配を PPS ベクトル軸に沿った減衰方向へシフトさせる。 PPSベクトルが特性表現軸に整列すると、その軸に沿って活性化を増加させるのではなく、勾配圧力を反転させることができる。 対照的に、IPは正確なメカニスティックな説明に抵抗し続けている。 直接コサイン類似性解析により、IPはPSSと特徴的に異なる勾配シグネチャを持つことが明らかとなり、定性的な解析によりIPの勾配がより拡散することを明らかにする。 さらに、IPは、PSSが不要な特性表現データにおいて、トレーニングデータにおける特性表現が"説明"されるという概念と整合して、次のポイントの予測損失を減らす。 そこで本研究では,各手法が動作し,IPのメカニスティックな図面に関するオープンな疑問を浮き彫りにするメカニズムを明らかにした。

関連論文リスト

• SELF: A Robust Singular Value and Eigenvalue Approach for LLM Fingerprinting [4.335948336782789]
  本稿では,入力への依存を排除し,本質的に偽の主張に抵抗する本質的な重みに基づく指紋認証方式を提案する。 SELFは,1)LLM注目重みの特異値と固有値分解によるユニークな,スケーラブルかつ変換不変な指紋抽出,2)少数ショット学習とデータ拡張に基づく効果的なニューラルネットワークベースの指紋類似性比較という2つの重要なイノベーションを通じて,堅牢なIP保護を実現する。
  論文  参考訳（メタデータ） (2025-12-03T09:53:47Z)
• Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
  InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。 InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
  論文  参考訳（メタデータ） (2025-05-08T13:04:45Z)
• Bidirectional Decoding: Improving Action Chunking via Guided Test-Time Sampling [51.38330727868982]
  動作チャンキングが学習者と実証者の間の分岐にどのように影響するかを示す。 動作チャンキングをクローズドループ適応でブリッジするテスト時間推論アルゴリズムである双方向デコーディング(BID)を提案する。 提案手法は、7つのシミュレーションベンチマークと2つの実世界のタスクにまたがって、最先端の2つの生成ポリシーの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-30T15:39:34Z)
• R-LPIPS: An Adversarially Robust Perceptual Similarity Metric [71.33812578529006]
  本稿では,Robust Learned Perceptual Image Patch similarity(R-LPIPS)メトリクスを提案する。 R-LPIPSは、敵対的に訓練された深い特徴を活用する新しい指標である。 従来のLPIPSメトリックと比較して,R-LPIPSの優位性を示す。
  論文  参考訳（メタデータ） (2023-07-27T19:11:31Z)
• Sparse Implicit Processes for Approximate Inference [0.0]
  インプリシットプロセス(IP)は、ベイズニューラルネットワーク、ニューラルネットワーク、ニューラルネットワーク、データジェネレータなどのモデルを記述するフレキシブルなプリエントである。 本稿では,先行IPと近似後IPのパラメータを同時に調整する手法を提案する。 その結果,従来のIPパラメータをデータに調整し,ガウス的でない正確な予測分布を提供する,IPを近似推論するためのスケーラブルな手法が得られた。
  論文  参考訳（メタデータ） (2021-10-14T18:00:04Z)
• A Graph Neural Network Approach for Scalable and Dynamic IP Similarity in Enterprise Networks [1.6516902135723865]
  IPアドレス間の類似性を測定することは、企業ネットワークの日々の運用において重要な課題である。 本稿では,適応型グラフニューラルネットワーク(GNN)アーキテクチャを用いた新しいIP埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T19:43:30Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。