論文の概要: Adversarial Manipulation of Reasoning Models using Internal Representations

• arxiv url: http://arxiv.org/abs/2507.03167v1
• Date: Thu, 03 Jul 2025 20:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.60444
• Title: Adversarial Manipulation of Reasoning Models using Internal Representations
• Title（参考訳）: 内部表現を用いた共振モデルの逆操作
• Authors: Kureha Yamaguchi, Benjamin Etheridge, Andy Arditi,
• Abstract要約: モデルが拒否するか否かを予測するCoTトークン生成において,活性化空間における線形方向を同定する。 我々は、CoTトークンのアクティベーションのみに介入することで最終的な出力を制御することができ、この方向をプロンプトベースの攻撃に組み込むことで、成功率を向上させることを示す。 以上の結果から,このチェーン・オブ・シンドローム自体が,推論モデルにおける敵対的操作の新たなターゲットとなる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 1.024113475677323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning models generate chain-of-thought (CoT) tokens before their final output, but how this affects their vulnerability to jailbreak attacks remains unclear. While traditional language models make refusal decisions at the prompt-response boundary, we find evidence that DeepSeek-R1-Distill-Llama-8B makes these decisions within its CoT generation. We identify a linear direction in activation space during CoT token generation that predicts whether the model will refuse or comply -- termed the "caution" direction because it corresponds to cautious reasoning patterns in the generated text. Ablating this direction from model activations increases harmful compliance, effectively jailbreaking the model. We additionally show that intervening only on CoT token activations suffices to control final outputs, and that incorporating this direction into prompt-based attacks improves success rates. Our findings suggest that the chain-of-thought itself is a promising new target for adversarial manipulation in reasoning models. Code available at https://github.com/ky295/reasoning-manipulation
• Abstract（参考訳）: 推論モデルは最終的な出力の前にチェーン・オブ・ソート(CoT)トークンを生成するが、これがJailbreak攻撃の脆弱性にどのように影響するかは不明だ。 従来の言語モデルは、迅速な応答境界での拒絶決定を行うが、DeepSeek-R1-Distill-Llama-8BがCoT世代内でこれらの決定を行う証拠を見つける。 我々は、生成したテキストの慎重な推論パターンに対応するため、モデルが「注意」方向と呼ばれる、CoTトークン生成中の活性化空間の線形方向を識別する。 この方向をモデルアクティベーションから切り離すことで、有害なコンプライアンスが増加し、事実上モデルをジェイルブレイクする。 さらに、CoTトークンのアクティベーションのみに介入することで最終的な出力を制御することができ、この方向をプロンプトベースの攻撃に組み込むことで、成功率が向上することを示す。 以上の結果から,このチェーン・オブ・シンドローム自体が,推論モデルにおける敵対的操作の新たなターゲットとなる可能性が示唆された。 https://github.com/ky295/reasoning-manipulation

関連論文リスト

• Thought Crime: Backdoors and Emergent Misalignment in Reasoning Models [1.6639438555897186]
  私たちは、Chain-of-Thoughtを無効にした悪意のある行動に関する推論モデルを微調整し、評価時にCoTを再実現します。 推論モデルは、しばしばバックドアトリガーを記述し、説明し、ある種の自己認識を示すことができる。
  論文  参考訳（メタデータ） (2025-06-16T08:10:04Z)
• On Reasoning Strength Planning in Large Reasoning Models [50.61816666920207]
  我々は, LRM が, 世代前においても, アクティベーションにおける推論強度を事前に計画している証拠を見出した。 次に、LEMがモデルのアクティベーションに埋め込まれた方向ベクトルによって、この推論強度を符号化していることを明らかにする。 我々の研究は、LEMにおける推論の内部メカニズムに関する新たな洞察を提供し、それらの推論行動を制御するための実践的なツールを提供する。
  論文  参考訳（メタデータ） (2025-06-10T02:55:13Z)
• Large language models can learn and generalize steganographic chain-of-thought under process supervision [5.173324198381261]
  CoT(Chain-of- Thought)推論は意思決定プロセスに関する洞察を提供する。 CoTモニタリングは、モデルをデプロイする際のリスクを軽減するために使用できる。 負荷を含む推論トレースにおける特定の文字列の使用をペナライズすることで、モデルが代替文字列の代わりになることを示す。
  論文  参考訳（メタデータ） (2025-06-02T17:45:15Z)
• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Refusal in Language Models Is Mediated by a Single Direction [4.532520427311685]
  リファリングは1次元のサブスペースによって媒介され、最大72Bのパラメータを持つ13の人気のオープンソースチャットモデルにまたがる。 そこで本研究では,他の機能に最小限の影響を伴って拒絶を手術的に無効にする,新しいホワイトボックス・ジェイルブレイク法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T16:36:12Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Are aligned neural networks adversarially aligned? [93.91072860401856]
  敵のユーザは、アライメントの試みを回避できるインプットを構築できる。 既存のNLPベースの最適化攻撃は、整列したテキストモデルを確実に攻撃するには不十分であることを示す。 我々は、NLP攻撃の改善が、テキストのみのモデルに対して、同じレベルの逆制御を示す可能性があると推測する。
  論文  参考訳（メタデータ） (2023-06-26T17:18:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。