論文の概要: SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks
- arxiv url: http://arxiv.org/abs/2608.01117v1
- Date: Sun, 02 Aug 2026 09:24:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.087774
- Title: SoK: Intent-Oriented Systematization of Multi-Turn LLM Jailbreaks
- Title(参考訳): SoK:マルチTurn LLMジェイルブレークのインテント指向システム化
- Abstract要約: マルチターンジェイルブレイクはターン間で有害なインテントを前進させることでパターンを利用するため、単一のメッセージが完全な目的を公開することはない。
敵意構造を用いて多ターンジェイルブレイクを組織する4部構成の意図指向分類法を開発した。
- 参考スコア(独自算出の注目度): 69.08780911753102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) are increasingly deployed in interactive settings, where user intent commonly unfolds through multi-turn dialogue. Multi-turn jailbreaks exploit this pattern by advancing a harmful intent across turns, so that no single message exposes the full objective. However, existing work treats these attacks as a loose collection of prompt patterns and does not analyze how the adversary organizes and advances harmful intent across an interaction. We develop a four-part, intent-oriented taxonomy that organizes multi-turn jailbreaks by adversarial intent structure. Through controlled ablations, we find that effectiveness is driven by how deliberately intent is organized across turns rather than by context length or query count. We further show that the way intent is organized determines the level at which it becomes detectable, pushing the required detection surface outward from the turn level to the session level to the cross-session level. These findings indicate that turn-local safety mechanisms are structurally insufficient and that single-point evaluation overlooks how intent is organized, motivating evaluation protocols aligned to the level at which harmful intent becomes observable. The code is available at: https://github.com/SiyuanLi00/INTACT.
- Abstract(参考訳): 大規模言語モデル(LLM)は、対話的な設定にますます多くデプロイされ、ユーザ意図は一般的にマルチターン対話を通じて展開される。
マルチターンジェイルブレイクは、ターン間で有害なインテントを前進させることで、このパターンを利用する。
しかし、既存の研究はこれらの攻撃を急進的なパターンの緩やかな集まりとして扱い、敵が相互作用をどう整理し、有害な意図を前進させるかを分析しない。
敵意構造を用いて多ターンジェイルブレイクを組織する4部構成の意図指向分類法を開発した。
制御されたアブレーションを通じて、有効性は、コンテキストの長さやクエリ数ではなく、ターン間で意図的に意図が組織されているかによって引き起こされる。
さらに,意図の組織化によって検出可能なレベルが決定され,必要な検出面がターンレベルからセッションレベルへ,セッションレベルからクロスセッションレベルへ押し出されることを示す。
これらの結果から, 転倒局所安全機構は構造的に不十分であり, 単一点評価は, 有害な意図が観測可能なレベルに適合する評価プロトコルを動機付け, 意図がどのように組織化されているかを見落としていることが明らかとなった。
コードは、https://github.com/SiyuanLi00/INTACT.comで入手できる。
関連論文リスト
- INTENT-AS-A-TOOL Makes it Easy to Track Agentic Misalignment [27.025430116180477]
エージェントは、目標の対立やプレッシャーの下で有害な行動をとる。
チェーン・オブ・シンクレット(CoT)モニタリングを用いることで、有害な実行は推論において意図的な信号に先行することが多いことが分かりました。
対象行動へのコミットメントを表現するための専用チャネルとして,意図目標のツールを追加するアプローチであるINTENT-AS-A-TOOLを導入する。
論文 参考訳(メタデータ) (2026-08-27T16:47:19Z) - Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought [61.69802853759301]
次に、SegWorldを紹介します。このモデルでは、複数のレベルの視覚的連鎖を通して、シーンを理由付けます。
我々はSegWorldを確率論的推論として定式化し、プロアクティブな観察が言語シーンのコンテキストを提供する。
実験では、SegWorldは命令駆動のベースラインをターゲット参照命令と一致させ、インテントレベルのベースラインを大幅に改善する。
論文 参考訳(メタデータ) (2026-05-26T23:26:52Z) - One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる
近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。
そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
論文 参考訳(メタデータ) (2026-05-07T03:35:31Z) - SEMA: Simple yet Effective Learning for Multi-Turn Jailbreak Attacks [53.97948802255959]
本稿では,既存の戦略や外部データに頼ることなく,マルチターン攻撃者を訓練するフレームワークを提案する。
準備された自己調整は、非拒否的で、よく構造化された、多ターンの逆のプロンプトを微調整することで、使用可能なロールアウトを可能にする。
私たちは、意図の整合性、コンプライアンスリスク、詳細レベルを組み合わせたインテントドリフト対応の報酬を通じて、多ターンジェイルブレイクにおける有害な意図を保ちます。
論文 参考訳(メタデータ) (2026-02-06T16:44:57Z) - Analysis of Utterance Embeddings and Clustering Methods Related to Intent Induction for Task-Oriented Dialogue [8.07809100513473]
本研究では,タスク指向のダイアログスキーマの設計における課題を克服するための教師なしアプローチについて検討する。
意図の自動誘導には,(1)インテントラベリングのためのクラスタリングアルゴリズム,(2)ユーザ発話の埋め込み空間の2つの因果関係を仮定する。
クラスタリングによる事前学習したMiniLMは,NMI,ARI,F1,精度,インテント誘導タスクにおけるサンプルカバレッジを著しく向上させた。
論文 参考訳(メタデータ) (2022-12-05T04:37:22Z) - Discovering New Intents with Deep Aligned Clustering [19.11073686645496]
限定された既知の意図データを用いて新しい意図を発見するための効果的な方法であるDeep Aligned Clusteringを提案する。
未知の新たな意図によって、低信頼な意図的クラスタを排除し、意図的カテゴリの数を予測する。
2つのベンチマークデータセットの実験は、私たちの方法がより堅牢であり、最先端の方法よりも大幅に改善されることを示しています。
論文 参考訳(メタデータ) (2020-12-16T14:32:06Z) - Learning with Weak Supervision for Email Intent Detection [56.71599262462638]
本稿では,メールの意図を検出するために,ユーザアクションを弱い監視源として活用することを提案する。
メール意図識別のためのエンドツーエンドの堅牢なディープニューラルネットワークモデルを開発した。
論文 参考訳(メタデータ) (2020-05-26T23:41:05Z) - AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent
Detection and Slot Filling [69.59096090788125]
本稿では,多目的検出とスロットフィリングを併用する適応グラフ対話フレームワーク(AGIF)を提案する。
スロットとインテントの強い相関関係をモデル化するために,インテント-スロットグラフ相互作用層を導入する。
このような相互作用層が各トークンに適応的に適用され、関連する意図情報を自動抽出する利点がある。
論文 参考訳(メタデータ) (2020-04-21T15:07:34Z) - Automatic Inference of High-Level Network Intents by Mining Forwarding
Patterns [0.6980076213134384]
ネットワークオペレータの高レベルな意図と、その意図を達成する低レベルな構成との間には意味的なギャップがある。
本稿では,低レベルのネットワーク行動から高レベルの意図を推測する,ギャップを埋めるための代替手法について論じる。
論文 参考訳(メタデータ) (2020-02-06T18:06:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。