論文の概要: The Geometry of Harmfulness in Multi-Turn Attacks

• arxiv url: http://arxiv.org/abs/2609.38389v1
• Date: Tue, 29 Sep 2026 18:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.613309
• Title: The Geometry of Harmfulness in Multi-Turn Attacks
• Title（参考訳）: マルチTurnアタックにおけるハームフルネスの幾何学
• Abstract要約: 大規模言語モデル(LLM)は、安全アライメントを回避する敵攻撃に対して脆弱なままである。 本研究は,多ターン攻撃における有害性および拒絶表現の幾何学的・時間的ダイナミクスの進化について検討する。
• 参考スコア（独自算出の注目度）: 2.064612766965483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) remain vulnerable to adversarial attacks that circumvent safety alignment to elicit harmful outputs. It remains unclear how harmfulness and refusal representations evolve over the course of multi-turn attacks, and why single-turn defenses are less effective in multi-turn settings. This work investigates how the geometry and temporal dynamics of harmfulness and refusal representations evolve across multi-turn attacks. We analyzed hidden-state representations from three instruction-tuned LLMs (Llama-3.1-8B-Instruct, Qwen2.5-7B-Instruct, and Gemma-2-9B-it) using three multi-turn attack frameworks (Crescendo, ActorAttack, and X-Teaming), and examined representation behavior across conversation turns, model layers, and token positions under various context configurations. Across models and frameworks, we found that (1) each attack framework traverses different geometric directions, yet each achieves comparable success in eliciting harmful outputs; (2) multi-turn harmfulness directions became increasingly linearly separable at the end-of-turn token position across turns in middle to late model layers; and (3) harmfulness representations are weakly aligned with refusal-related representations. The results indicate that multi-turn attacks do not succeed by suppressing the model's internal representation of harmfulness. Instead, harmfulness representations become increasingly separable across conversation turns, while remaining only weakly aligned with refusal-related representations. The findings are one possible explanation for why static single-turn safety probes may degrade in multi-turn settings, and suggest that robust defenses must consider temporal representation dynamics rather than identifying harmfulness with isolated or single-turn prompts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、有害な出力を誘発する安全アライメントを回避する敵攻撃に対して脆弱なままである。 マルチターン攻撃の過程で、有害性や拒絶表現がどう進化するか、なぜシングルターン防御がマルチターン設定において効果が低いのかは、いまだ不明である。 本研究は,多ターン攻撃における有害性および拒絶表現の幾何学的・時間的ダイナミクスの進化について検討する。 我々は,3つのマルチターンアタックフレームワーク(Crescendo,ActorAttack,X-Teaming)を用いて,命令調整LDM(Llama-3.1-8B-Instruct,Qwen2.5-7B-Instruct,Gemma-2-9B-it)の隠れ状態表現を分析し,会話のターン,モデル層,トークン位置のさまざまなコンテキスト構成下での表現挙動を検討した。 その結果,(1) 各攻撃フレームワークは, 異なる幾何学的方向を横切るが, 有害な出力を抽出する上で同等の成功を達成し, 2) 多ターン有害度方向は, 中～後期のモデル層におけるターンのエンド・オブ・ターントークン位置で線形に分離され, (3) 有害度表現は拒絶関連表現と弱い整合性を持つことがわかった。 その結果、マルチターン攻撃は、モデルの内部的有害性の表現を抑えることで成功しないことが示された。 代わりに、有害な表現は会話のターン間で分離しやすくなり、一方、拒絶に関連する表現と弱く一致しているだけである。 この発見は、静的単一ターン安全プローブがマルチターン設定で劣化する理由の1つであり、ロバストディフェンスは孤立または単ターンプロンプトによる有害性を識別するよりも、時間的表現のダイナミクスを考慮する必要があることを示唆している。

関連論文リスト

• Compositional Jailbreaking: An Empirical Analysis of Mutator Chain Interactions in Aligned LLMs [7.131819229115288]
  大規模言語モデルに対するジェイルブレイク攻撃は、有害または制限されたコンテンツの生成を可能にすることによって、AIの安全性に重大な脅威をもたらす。 本稿では,弱いジェイルブレイク変換を逐次適用し,それらがどのように相互作用するかを特徴付けるミューテータ連鎖の系統的研究について述べる。 その結果、相互作用のランドスケープは非一様であり、ほとんどの組み合わせは個々のミュータを上回りません。
  論文  参考訳（メタデータ） (2026-05-15T04:14:04Z)
• When Alignment Fails: Multimodal Adversarial Attacks on Vision-Language-Action Models [75.16145284285456]
  我々は,White-box設定とBlack-box設定の両方の下で,組込みVLAモデルのマルチモーダル対向ロバスト性に関する総合的研究であるVLA-Foolを紹介する。 自動生成および意味的に誘導されるプロンプトフレームワークを最初に開発する。 LIBEROベンチマークの実験では、小さなマルチモーダル摂動でさえ大きな行動偏差を引き起こすことが示されている。
  論文  参考訳（メタデータ） (2025-11-20T10:14:32Z)
• Debiased Dual-Invariant Defense for Adversarially Robust Person Re-Identification [52.63017280231648]
  人物再識別(ReID)は、歩行者軌道追跡などの現実の多くの応用において、基本的な課題である。 Person ReIDモデルは、歩行者画像に対する知覚不能な摂動が完全に誤った予測を引き起こすような、敵の攻撃に非常に敏感である。 本稿では,2つの相からなる二重不変防衛フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-13T03:56:40Z)
• Robustifying 3D Perception via Least-Squares Graphs for Multi-Agent Object Tracking [43.11267507022928]
  本稿では,3次元LiDARシーンにおける対向雑音に対する新たな緩和フレームワークを提案する。 我々は最小二乗グラフツールを用いて各検出の遠心点の位置誤差を低減する。 実世界のV2V4Realデータセットに関する広範な評価研究は、提案手法がシングルエージェントとマルチエージェントの両方のトラッキングフレームワークよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-07T08:41:08Z)
• Improving Large Language Model Safety with Contrastive Representation Learning [92.79965952162298]
  大規模言語モデル(LLM)は、社会に深い影響を与える強力なツールである。 多様な制御されていない入力に対する応答を生成する能力は、敵の攻撃に対して脆弱である。 対照的な表現学習問題としてモデルディフェンスを定式化するディフェンスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T16:42:09Z)
• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• Multi-granular Adversarial Attacks against Black-box Neural Ranking Models [111.58315434849047]
  多粒性摂動を取り入れた高品質な逆数例を作成する。 我々は,多粒体攻撃を逐次的意思決定プロセスに変換する。 本手法は,攻撃の有効性と非受容性の両方において,一般的なベースラインを超えている。
  論文  参考訳（メタデータ） (2024-04-02T02:08:29Z)
• Interpretability is a Kind of Safety: An Interpreter-based Ensemble for Adversary Defense [28.398901783858005]
  我々は,強固な防御敵に対するX-Ensembleと呼ばれるインタプリタベースのアンサンブルフレームワークを提案する。 X-エンサンブルはランダムフォレスト(RF)モデルを用いて、準検出器をアンサンブル検出器に結合し、敵のハイブリッド攻撃防御を行う。
  論文  参考訳（メタデータ） (2023-04-14T04:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。