論文の概要: Thinking Wrong in Silence: Backdoor Attacks on Continuous Latent Reasoning
- arxiv url: http://arxiv.org/abs/2604.00770v1
- Date: Wed, 01 Apr 2026 11:34:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-02 16:44:31.958005
- Title: Thinking Wrong in Silence: Backdoor Attacks on Continuous Latent Reasoning
- Title（参考訳）: 沈黙の誤りを考える:継続的潜在推論に対するバックドアアタック
- Abstract要約: 新しい世代の言語モデルは、完全に連続的な隠蔽状態であり、トークンは生成せず、監査証跡も残っていない。
ThoughtSteer は >=99% の攻撃成功率をほぼベースラインのクリーンな精度で達成している。
個々の潜在ベクトルは、モデルが間違った解を出力したとしても、正しい解を符号化する。
- 参考スコア（独自算出の注目度）: 1.3011345529764784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A new generation of language models reasons entirely in continuous hidden states, producing no tokens and leaving no audit trail. We show that this silence creates a fundamentally new attack surface. ThoughtSteer perturbs a single embedding vector at the input layer; the model's own multi-pass reasoning amplifies this perturbation into a hijacked latent trajectory that reliably produces the attacker's chosen answer, while remaining structurally invisible to every token-level defense. Across two architectures (Coconut and SimCoT), three reasoning benchmarks, and model scales from 124M to 3B parameters, ThoughtSteer achieves >=99% attack success rate with near-baseline clean accuracy, transfers to held-out benchmarks without retraining (94-100%), evades all five evaluated active defenses, and survives 25 epochs of clean fine-tuning. We trace these results to a unifying mechanism: Neural Collapse in the latent space pulls triggered representations onto a tight geometric attractor, explaining both why defenses fail and why any effective backdoor must leave a linearly separable signature (probe AUC>=0.999). Yet a striking paradox emerges: individual latent vectors still encode the correct answer even as the model outputs the wrong one. The adversarial information is not in any single vector but in the collective trajectory, establishing backdoor perturbations as a new lens for mechanistic interpretability of continuous reasoning. Code and checkpoints are available.
- Abstract（参考訳）: 新しい世代の言語モデルは、完全に連続的な隠蔽状態であり、トークンは生成せず、監査証跡も残っていない。
この沈黙は基本的に新しい攻撃面を生み出すことを示す。
ThoughtSteerは入力層に1つの埋め込みベクトルを摂動する。モデル自身のマルチパス推論は、この摂動をハイジャックされた潜在軌道に増幅し、攻撃者の選択した回答を確実に生成する一方で、トークンレベルの防御には構造的に見えないままである。
2つのアーキテクチャ(CoconutとSimCoT)、3つの推論ベンチマーク、124Mから3Bパラメータのモデルスケール、ThoughtSteerは、ほぼベースラインのクリーニング精度で攻撃成功率 >=99%、リトレーニングなし(94-100%)のホールトアウトベンチマークへの転送、評価された5つのアクティブディフェンスをすべて回避し、クリーンな微調整の25エポックを生き延びる。
潜時空間におけるニューラル崩壊は、なぜ防御が失敗するのか、なぜ効果的なバックドアが線形分離可能なシグネチャを残しなければならないのかを説明する(probe AUC>=0.999)。
個々の潜在ベクトルは、モデルが間違った解を出力したとしても、正しい解を符号化する。
対向情報は単一のベクトルではなく集合軌道であり、連続推論の機械論的解釈性のための新しいレンズとしてバックドア摂動を確立する。
コードとチェックポイントが利用可能だ。
関連論文リスト
- ToxScreen: Detecting Whether an LLM Has Been Poisoned [1.2598422062985144]
ToxScreenは、攻撃目標、トリガーメカニズム、中毒率、モデルスケール、バックドアトレーニングメカニズムにまたがる約800のバックドアモデルのベンチマークです。
一方,攻撃成功率で候補をランク付けするトークン検索では,バックドアが有効である場合にトリガを復元する。
すべてのバックドアを確実に覆う方法は存在しないが、広い範囲のジェイルブレイク可能なモデルはそれ自体異常であり、正確なトリガーが回収されない場合でも有用な信号である。
論文 参考訳（メタデータ） (2026-07-29T12:35:58Z) - Reasoning as a Double-Edged Sword: Architecture and Cross-Stage Robustness in Vision-Language-Action Models [27.2709460237741]
行動の前に理由付けをする政策は、観察を直接行動にマッピングする政策よりも摂動入力を吸収すべきである。
この前提を推論スペクトルにまたがる3つのモデルでテストする。
潜望的なモデルは、はるかにロバストであることに気付きました。
論文 参考訳（メタデータ） (2026-07-20T10:20:32Z) - Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense [0.0]
大規模言語モデルの推論時安全性手法は増加してきたが、体系的な比較は存在しない。
5つの防衛パラダイム(防御、静的ステアリング、CAST、AlphaSteer、プローブゲート)を7つの命令調整モデルで評価する。
AlphaSteerはGCG、AutoDAN、インテント洗浄において0%の攻撃成功を達成するが、プリフィルでは50%である。
論文 参考訳（メタデータ） (2026-06-28T15:05:12Z) - Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。
敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。
本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
論文 参考訳（メタデータ） (2026-05-24T17:51:34Z) - Ulterior Motives: Detecting Misaligned Reasoning in Continuous Thought Models [0.0]
大規模言語モデル(LLM)における複雑な推論を導く重要な手法として、CoT推論(Chain-of-Thought)が登場した。
MoralChainは12,000の社会的シナリオを並列な道徳的/不道徳的推論パスでベンチマークする。
連続的思考モデルは、一致したアウトプットを生成しながら、不一致な潜在的推論を示すことができることを示す。
論文 参考訳（メタデータ） (2026-04-25T22:43:15Z) - MirageBackdoor: A Stealthy Attack that Induces Think-Well-Answer-Wrong Reasoning [8.170822419218704]
我々はThink WellでAnswer Wrongを実現する最初のバックドア攻撃であるMirrageBackdoor(MirageBD)を紹介する。
MirageBDは、特定のターゲットに向けて最終回答を選択的に操りながら、トリガモデルでクリーンなCoTを保存することを可能にする。
実験の結果、MirageBDは一般的に4つのデータセットと5つのモデルで90%以上の攻撃成功率を達成した。
論文 参考訳（メタデータ） (2026-04-08T09:02:05Z) - One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。
提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-10-12T07:42:57Z) - Backdoor Collapse: Eliminating Unknown Threats via Known Backdoor Aggregation in Language Models [75.29749026964154]
Ourmethodは、複数のベンチマークで平均的な攻撃成功率を4.41%に下げる。
クリーンな精度と実用性はオリジナルのモデルの0.5%以内に保存される。
防衛はさまざまな種類のバックドアをまたいで一般化し、実際のデプロイメントシナリオにおける堅牢性を確認します。
論文 参考訳（メタデータ） (2025-10-11T15:47:35Z) - Trigger without Trace: Towards Stealthy Backdoor Attack on Text-to-Image Diffusion Models [70.03122709795122]
テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。
現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。
我々はこれらの成分を明示的に緩和することでTwT(Trigger without Trace)を提案する。
論文 参考訳（メタデータ） (2025-03-22T10:41:46Z) - A4O: All Trigger for One sample [10.78460062665304]
提案されたバックドアディフェンダーは、トリガーが統一された方法で現れるという仮定に依存することが多い。
本稿では,この単純な仮定が抜け穴を生じさせ,より洗練されたバックドア攻撃を回避できることを示す。
我々は,複数の種類のバックドアトリガーを組み込んだ新たなバックドア攻撃機構を設計し,ステルスネスと有効性に着目した。
論文 参考訳（メタデータ） (2025-01-13T10:38:58Z) - Data Free Backdoor Attacks [83.10379074100453]
DFBAは、モデルアーキテクチャを変更することなく、リトレーニングフリーでデータフリーのバックドア攻撃である。
我々の注入されたバックドアは、様々な最先端の防御策によって、検出不可能で、検出不能であることを確認した。
複数のデータセットに対する評価では,1) 無視可能な分類損失,2) 攻撃成功率,3) 既存の6つの防御を回避している。
論文 参考訳（メタデータ） (2024-12-09T05:30:25Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳（メタデータ） (2023-05-11T10:05:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。