論文の概要: Locating and Steering Refusal Beyond Attention

• arxiv url: http://arxiv.org/abs/2609.04721v1
• Date: Fri, 04 Sep 2026 04:45:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.914205
• Title: Locating and Steering Refusal Beyond Attention
• Title（参考訳）: 位置決めとステアリングの拒否は注意を超えた
• Abstract要約: ステートスペースモデル(SSM)は、注意の代わりに更新を繰り返すことで情報をルートし、トークンミキシング機構をトランスフォーマーと共有しない。 変換器で訓練されたハームプローブは、SSMの有害な入力にフラグを付け、整列方向を除去することで、それ以外は拒否するであろうモデル応答攻撃を発生させる。 アーキテクチャ固有のものは、方向性を判断する場所ではなく、読み込まなければならない場所である。
• 参考スコア（独自算出の注目度）: 0.5565728870245015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Where inside a language model does refusal live, and does that place change when the architecture does? In a transformer, refusal is governed by a single direction in the residual stream, a finding that safety and interpretability tooling now depend on. State-space models (SSMs) route information through a recurrent update instead of attention, sharing no token-mixing mechanism with a transformer. Does the same safety representation survive this shift, or must it be rediscovered per architecture? It survives. A single rigid rotation, which can only reorient a space and not reshape it, aligns one model's representation space with another's, so the two genuinely share the representation. A harm probe trained on a transformer then flags an SSM's harmful inputs, and removing the aligned direction makes a model answer attacks it would otherwise refuse, while a random direction of the same size does far less. What is architecture-specific is not where the direction is steered but where it must be read. Each layer computes a fresh output that is then added into the residual stream, and harm is cleanly readable at this output, the write site, before the addition. A control that holds the intervention's strength fixed shows that what matters is where the direction is estimated, not where it is applied. Applied through a detector-triggered gate, this direction lowers jailbreak success in all four architecture families we test (SSM, transformer, recurrent, hybrid), and on the SSM it holds against an attacker that tunes its prompt against the defense. The gate only matches a trivial rule that returns a fixed refusal whenever the same detector fires, so what transfers across architectures is the direction itself, not defense strength. Safety tooling built on refusal therefore ports to a new architecture by re-estimating the direction at that architecture's write site, not by rebuilding it.
• Abstract（参考訳）: 言語モデルの内部はどこに存在し、アーキテクチャがそうであるときにその場所は変わりますか? 変圧器では、リファリングは残流の単一方向によって制御され、安全と解釈可能性のツールが現在依存していることが分かる。 ステートスペースモデル(SSM)は、注意の代わりに更新を繰り返すことで情報をルートし、トークンミキシング機構をトランスフォーマーと共有しない。 同じ安全性の表現は、このシフトを生き残るのか、あるいはアーキテクチャ毎に再発見する必要があるのか? 生き残る。 1つの剛性回転は、空間を再配置し、それを再構成しないだけで、あるモデルの表現空間を他のモデルの表現空間と整列させるので、2つのモデルは真に表現を共有している。 変換器で訓練されたハームプローブは、SSMの有害な入力をフラグし、アライメントされた方向を除去することで、モデル回答が拒否されるが、同じ大きさのランダムな方向は、はるかに少ない。 アーキテクチャ固有のものは、方向性を判断する場所ではなく、読み込まなければならない場所である。 各レイヤは、残余ストリームに付加された新鮮な出力を計算し、この出力である書き込みサイトにおいて、その追加前に害をクリーンに読み取ることができる。 介入の強さを固定した制御は、何が重要かは、その方向が推定される場所であり、適用される場所ではないことを示す。 検出器トリガーゲートを通じて適用すると、この方向は、テストする4つのアーキテクチャファミリ(SSM、トランスフォーマー、リカレント、ハイブリッド)でジェイルブレイクの成功を低下させ、SSMでは攻撃者に対して防御に対するプロンプトを調整します。 ゲートは、同じ検知器が発火するたびに固定された拒絶を返すような自明なルールにしかマッチしないため、アーキテクチャ間で伝達されるものは、防御力ではなく方向そのものである。 したがって、リフレクションに基づいて構築された安全ツールが、そのアーキテクチャの書き込みサイトの方向を再見積することで、新しいアーキテクチャに移植される。

関連論文リスト

• Decided Upstream, Written Late: Locating and Pricing the Cross-Lingual Refusal Circuit of a Multilingual MoE [0.0]
  多言語モデルの安全性の整合性は不均一である。 英語で有害な要求を確実に拒否するモデルは、しばしば低リソース言語で同じ要求に従う。
  論文  参考訳（メタデータ） (2026-08-08T09:39:41Z)
• Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering [9.737607721974664]
  ビジョン-言語モデル(VLM)はモデルサプライチェーンを通じてますます展開される。 本稿では,VLMサプライチェーンにアーキテクチャバックドアを埋め込むことで,悪意のあるプロバイダがこの信頼境界を活用できることを示す。
  論文  参考訳（メタデータ） (2026-07-28T09:12:11Z)
• The Art of Not Forgetting [0.8875650122536798]
  入力をスパースリレーショナルコードとして表現するアーキテクチャであるCMPを導入し、それらを2層競合メモリに格納し、ローカルで勾配のない更新を通じて完全に学習し、ネットワークのどこにもバックプロパゲーションを含まない。 破滅的な忘れは、通常、リプレイや正規化でパッチを当てられるトレーニング時の欠陥として扱われるが、代わりにバックプロパゲーションがクレジットを割り当てる方法の構造的な結果であり、建設によって局所的でスパースな学習規則はパッチなしでそれに耐えるべきである、という、特定の仮説をテストするためにこのアーキテクチャを使用します。
  論文  参考訳（メタデータ） (2026-07-20T13:42:55Z)
• Massive Activations Are Architecturally Robust: A Controlled Scratch/Commitment Residual Stream Test [0.0]
  訓練された変圧器は、中央値よりもはるかに大きい少数の隠れ次元である巨大な活性化を確実に発達させる。 アーキテクチャ上の介入で、アーティファクト仮説を直接テストします。 アーキテクチャと測定コードをリリースします。
  論文  参考訳（メタデータ） (2026-06-17T20:30:55Z)
• ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
  MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。 本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
  論文  参考訳（メタデータ） (2026-04-21T04:52:38Z)
• Backdoor Directions in Vision Transformers [56.382912038371046]
  本稿では,視覚変換器(ViT)におけるバックドアアタックの表現方法について検討する。 我々は、トリガーの内部表現に対応するモデルのアクティベーションにおいて、特定のトリガー方向'を識別する。 この方向を診断ツールとして使用して、バックドア機能が層間でどのように処理されるかを追跡する。
  論文  参考訳（メタデータ） (2026-03-11T14:13:48Z)
• Data Free Backdoor Attacks [83.10379074100453]
  DFBAは、モデルアーキテクチャを変更することなく、リトレーニングフリーでデータフリーのバックドア攻撃である。 我々の注入されたバックドアは、様々な最先端の防御策によって、検出不可能で、検出不能であることを確認した。 複数のデータセットに対する評価では,1) 無視可能な分類損失,2) 攻撃成功率,3) 既存の6つの防御を回避している。
  論文  参考訳（メタデータ） (2024-12-09T05:30:25Z)
• The Dark Side of AutoML: Towards Architectural Backdoor Search [49.16544351888333]
  EVASはNASを利用した新たな攻撃で、固有のバックドアを持つニューラルネットワークを見つけ出し、入力認識トリガを使用してそのような脆弱性を悪用する。 EVASは高い回避性、転送可能性、堅牢性を特徴とし、敵の設計スペクトルを拡大する。 この研究は、NASの現在の実践に対する懸念を高め、効果的な対策を開発するための潜在的方向性を示す。
  論文  参考訳（メタデータ） (2022-10-21T18:13:23Z)
• DBIA: Data-free Backdoor Injection Attack against Transformer Networks [6.969019759456717]
  CV指向トランスネットワークに対するデータフリーバックドア攻撃であるDBIAを提案する。 弊社のアプローチでは、バックドアを高い成功率で埋め込むことができ、被害者のトランスフォーマーの性能への影響も低い。
  論文  参考訳（メタデータ） (2021-11-22T08:13:51Z)
• Rethinking Bottleneck Structure for Efficient Mobile Network Design [154.47657111869552]
  倒立残差ブロックは最近,モバイルネットワークのアーキテクチャ設計を支配している。 この構造を反転させ,より高次元でのアイデンティティマッピングと空間変換を行うサンドグラスブロックと呼ばれる新しいボトルネック設計を提案する。 ImageNet分類では、パラメータや計算量を増やすことなく、逆残差ブロックを砂時計ブロックに置き換えることによって、MobileNetV2よりも1.7%以上精度を向上することができる。
  論文  参考訳（メタデータ） (2020-07-05T08:55:26Z)
• Object Files and Schemata: Factorizing Declarative and Procedural Knowledge in Dynamical Systems [135.10772866688404]
  モノリシックな隠蔽状態を持つブラックボックスモデルは、手続き的知識を一貫して均一に適用できないことが多い。 宣言的および手続き的知識を分解するアーキテクチャを通じてこの問題に対処する。
  論文  参考訳（メタデータ） (2020-06-29T17:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。