Fugu-MT 論文翻訳(概要): Do LLMs Know Their Vulnerable Scenarios?

論文の概要: Do LLMs Know Their Vulnerable Scenarios?

arxiv url: http://arxiv.org/abs/2607.23496v1
Date: Sun, 26 Jul 2026 06:54:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.13116
Title: Do LLMs Know Their Vulnerable Scenarios?
Title（参考訳）: LLMは自身の脆弱なシナリオを知っているか?
Abstract要約: 本研究は, シナリオラッパーが内部シナリオの方向を活性化し, 因果的ステアリングが拒絶スコアを一定に減少させることを示す。弱いシナリオ発見のための概念ベースの属性フレームワークであるtextscConcept2Scenario を提案する。
参考スコア（独自算出の注目度）: 35.22432085632252
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Safety-aligned large language models are trained to refuse harmful requests, yet embedding the same requests in particular scenarios can bypass their safeguards. Existing red-teaming methods empirically identify effective scenarios through observed attack outcomes, but why particular scenarios weaken refusal remains mechanistically unclear. Meanwhile, mechanistic interpretability studies have characterized both refusal directions and jailbreak-associated features, without explaining the relationship between the two representations. In this work, we show that scenario-wrapped prompts activate internal scenario directions whose causal steering consistently reduces refusal scores. Building on this finding, we propose \textsc{Concept2Scenario}, a concept-based attribution framework for vulnerable scenario discovery. It instantiates a broad concept space with a sparse autoencoder, attributes refusal suppression to individual concepts, translates the identified concepts into interpretable natural-language scenarios, and identifies synergistic scenario combinations through interaction attribution. Across three open-source models, two safety benchmarks, and six black-box jailbreak methods, the discovered scenarios serve as reusable priors that improve average attack success rates by up to $18.2$ percentage points. They also transfer to GPT-5, Claude-Haiku-4.5, and Gemini-3-Flash, suggesting that some scenario-level refusal vulnerabilities are shared across model families. Moreover, the identified combinations outperform their individual constituents and enable iterative attacks to succeed in fewer turns.
Abstract（参考訳）: 安全に整合した大きな言語モデルは有害な要求を拒否するように訓練されているが、特定のシナリオに同じ要求を埋め込むことで、保護を回避できる。既存のレッドチーム方式は、観測された攻撃結果を通じて有効シナリオを実証的に識別するが、なぜ特定のシナリオが拒絶を弱めるのかは、機械的に不明である。一方、機械論的解釈可能性の研究では、2つの表現の関係を説明することなく、拒絶方向とジェイルブレイクに関連する特徴の両方を特徴付けている。本研究は, シナリオラッペされたプロンプトが内的シナリオ方向を活性化し, 因果的ステアリングが常に拒絶スコアを減少させることを示す。この発見に基づいて、脆弱なシナリオ発見のための概念ベースの属性フレームワークである \textsc{Concept2Scenario} を提案する。広い概念空間をスパースオートエンコーダでインスタンス化し、個々の概念に対する属性の拒絶を抑え、識別された概念を解釈可能な自然言語シナリオに変換し、相互作用属性を通じて相乗的シナリオの組み合わせを識別する。 3つのオープンソースモデル、2つの安全ベンチマーク、6つのブラックボックスジェイルブレイク手法で発見されたシナリオは、平均的な攻撃成功率を最大18.2ドルまで改善する再利用可能な先行手段として機能する。彼らはまた、GPT-5、Claude-Haiku-4.5、Gemini-3-Flashに移行し、いくつかのシナリオレベルの拒絶脆弱性がモデルファミリ間で共有されていることを示唆している。さらに、識別された組み合わせは個々の構成要素よりも優れており、反復攻撃がより少ないターンで成功するようにする。

関連論文リスト

Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。 AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
論文参考訳（メタデータ） (2026-09-05T13:45:09Z)
The Safety Relay in Roleplay Jailbreaks: A Component-Resolved Causal Analysis of Harm Recognition and Refusal [9.690793619550654]
危害の証拠が残されているにもかかわらず、ロールプレイがコンプライアンスをいかに生み出すかを示す。我々は、危険認識から拒絶への接続の維持という、将来の安全を守るための具体的な目標を特定した。
論文参考訳（メタデータ） (2026-08-31T11:03:49Z)
C-CoT: Counterfactual Chain-of-Thought with Vision-Language Models for Safe Autonomous Driving [5.963051368087439]
本稿では,運転決定を5段階に分解する反ファクト・チェーン・オブ・シント(C-CoT)フレームワークを提案する。本稿では, 代替アクションの組み合わせによる潜在的影響を明確に評価するために, メタアクション評価ツリーを構築した。この自己回帰推論は、行動選択と安全結果の因果関係を確立し、長い尾とアウト・オブ・ディストリビューションのシナリオにおける堅牢性を改善する。
論文参考訳（メタデータ） (2026-05-11T15:45:00Z)
Uncovering Linguistic Fragility in Vision-Language-Action Models via Diversity-Aware Red Teaming [64.48633529149579]
本稿では,VLA(Vision-Language-Action)モデルの言語的変異に対する脆弱性を明らかにするための新しいフレームワークを提案する。本手法は, ストレス試験用VLAエージェントへのスケーラブルなアプローチを示すため, 平均作業成功率を93.33%から5.85%に下げる。
論文参考訳（メタデータ） (2026-04-07T08:43:36Z)
Lying to Win: Assessing LLM Deception through Human-AI Games and Parallel-World Probing [16.419761149171215]
本稿では,大規模言語モデルを組み込んだ論理的基盤化フレームワークを提案する。オブジェクト識別の時点では,対話状態は複数の並列世界へ複製される。 GPT-4o, Gemini-2.5-Flash, Qwen-3-235B を3つのインセンティブレベル(中性, 損失ベース, 存在)で評価した。
論文参考訳（メタデータ） (2026-03-07T13:21:53Z)
On the Feasibility of Hijacking MLLMs' Decision Chain via One Perturbation [22.536817707658816]
単一の摂動は、決定連鎖全体をハイジャックすることができる。 Semantic-Aware Universal Perturbations (SAUP) は入力のセマンティクスに基づいて様々な結果をもたらす。マルチモーダルな3つの大規模言語モデルの実験は、その脆弱性を実証している。
論文参考訳（メタデータ） (2025-11-25T07:13:13Z)
Seeing the Threat: Vulnerabilities in Vision-Language Models to Adversarial Attack [7.988475248750045]
LVLM(Large Vision-Language Models)は、様々なマルチモーダルタスクにおいて顕著な機能を示す。従来の敵攻撃がLVLMに埋め込まれた安全機構を回避できる理由を明らかにするために,系統的な表現解析を行う。 LVLMに対する敵攻撃のための2段階評価フレームワークを提案する。
論文参考訳（メタデータ） (2025-05-28T04:43:39Z)
Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文参考訳（メタデータ） (2025-01-03T15:40:03Z)
Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
論文参考訳（メタデータ） (2024-11-21T17:46:55Z)
A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
論文参考訳（メタデータ） (2022-06-17T02:29:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。