論文の概要: FreakOut-LLM: The Effect of Emotional Stimuli on Safety Alignment

• arxiv url: http://arxiv.org/abs/2604.04992v1
• Date: Sun, 05 Apr 2026 13:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.388592
• Title: FreakOut-LLM: The Effect of Emotional Stimuli on Safety Alignment
• Title（参考訳）: FreakOut-LLM: 感情刺激が安全アライメントに及ぼす影響
• Abstract要約: 安全に配慮したLSMは、有害な要求を拒否する訓練を拒否するが、これらのメカニズムが感情的な刺激の下で有効であるかどうかは不明である。 本稿では,FreakOut-LLMというフレームワークを紹介した。
• 参考スコア（独自算出の注目度）: 13.02804082409836
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Safety-aligned LLMs go through refusal training to reject harmful requests, but whether these mechanisms remain effective under emotionally charged stimuli is unexplored. We introduce FreakOut-LLM, a framework investigating whether emotional context compromises safety alignment in adversarial settings. Using validated psychological stimuli, we evaluate how emotional priming through system prompts affects jailbreak susceptibility across ten LLMs. We test three conditions (stress, relaxation, neutral) using scenarios from established psychological protocols, plus a no-prompt baseline, and evaluate attack success using HarmBench on AdvBench prompts. Stress priming increases jailbreak success by 65.2\% compared to neutral conditions (z = 5.93, p < 0.001; OR = 1.67, Cohen's d = 0.28), while relaxation priming produces no effect (p = 0.84). Five of ten models show significant vulnerability, with the largest effects concentrated in open-weight models. Logistic regression on 59,800 queries confirms stress as the sole significant condition predictor after controlling for prompt length (p = 0.61) and model identity. Measured psychological state strongly predicts attack success (|r|\geq0.70 across five instruments; all p < 0.001 in individual-level logistic regression). These results establish emotional context as a measurable attack surface with implications for real-world AI deployment in high-stress domains.
• Abstract（参考訳）: 安全に配慮したLSMは、有害な要求を拒否する訓練を拒否するが、これらのメカニズムが感情的な刺激の下で有効であるかどうかは不明である。 本稿では,FreakOut-LLMというフレームワークを紹介した。 実証された心理的刺激を用いて、システム刺激による感情的プライミングが10個のLDMのジェイルブレイク感受性にどのように影響するかを評価する。 我々は、確立された心理学的プロトコルのシナリオとノンプロンプトベースラインを用いて、3つの条件(ストレス、リラックス、中立性)をテストし、AdvBenchプロンプト上でHarmBenchを用いて攻撃成功を評価する。 ストレスプライミングは中性条件(z = 5.93, p < 0.001; OR = 1.67, Cohen's d = 0.28)と比較して65.2\%のジェイルブレイク成功率を増大させるが、緩和プライミングは効果を生じない(p = 0.84)。 10モデル中5モデルが重大な脆弱性を示しており、最大の影響はオープンウェイトモデルに集中している。 59,800クエリのロジスティック回帰は、プロンプト長(p = 0.61)とモデルアイデンティティを制御した後、ストレスを唯一の重要な状態予測器として確認する。 測定された心理的状態は攻撃の成功を強く予測する(|r|\geq0.70は5つの楽器で、p < 0.001 である)。 これらの結果は、高ストレス領域における実世界のAI展開に影響を及ぼす、測定可能な攻撃面として感情的コンテキストを確立する。

関連論文リスト

• Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats [2.9434672062822376]
  大規模言語モデル(LLM)はますますインタラクティブなアプリケーションにデプロイされている。 敵との相互作用に弱いままであり、有害な、偽り、あるいは政策に違反するアウトプットを誘発する。 本稿では,迅速な意図と応答障害を共同で評価する,検証中心の防御フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-24T21:00:39Z)
• Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior [58.538864650160406]
  4つの行動タスクと11のフロンティアLSMで実験を行いました。 SR-ビヘイビアコヒーレンスは存在するが選択的である。 これらの結果は、粗いパーソナリティフレームワークがデプロイメントの振る舞いをテストする最良のツールではないことを示唆している。
  論文  参考訳（メタデータ） (2026-06-10T22:28:53Z)
• Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics [50.36375380196006]
  ジェイルブレイクプロンプトは、大規模な言語モデルにおけるアライメントガードレールをバイパスすることができる。 先行検出アプローチは固定距離空間に大きく依存する。 この仮定は,意図によって無視されるが,安全関連キーワードを含む疑似悪質なプロンプトの下で破られることを示す。 本稿では, LLM を入力を出力に変換する運動系として扱う Manifold Trajectory Kinetics (MTK) を提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:49:26Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• Can You Break RLVER? Probing Adversarial Robustness of RL-Trained Empathetic Agents [0.0]
  RLVERは、協力的で正直なユーザを前提としたベンチマークに基づいて、強い共感的パフォーマンスを持つ言語モデルを作成している。 本稿では, 情緒的強靭性を評価するために, 情緒的共感ベンチマークAEBを構築し, 情緒的一貫性スコアECSを導入する。 我々は,ECS-FS(Final Score)ギャップを,内部理解や臨床準備の証拠としてではなく,シミュレーターファミリー内での行動・相対性解離と解釈する。
  論文  参考訳（メタデータ） (2026-05-08T02:14:12Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• Breaking Minds, Breaking Systems: Jailbreaking Large Language Models via Human-like Psychological Manipulation [6.67891820536196]
  心理学的ジェイルブレイク(英: Psychological Jailbreak)は、大規模言語モデルにおいて、ステートフルな心理的攻撃面を公開する攻撃パラダイムである。 HPM(Human-like Psychological Manipulation)は、ターゲットモデルの潜在する心理的脆弱性をプロファイルし、カスタマイズされたマルチターン攻撃戦略を合成する。 HPMは88.1%の平均攻撃成功率(ASR)を達成し、最先端の攻撃ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-12-20T07:02:00Z)
• Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments [4.547649832854566]
  大規模言語モデル(LLM)は、マルチエージェントと安全クリティカルな設定でますます運用され、モデルが逆向きに相互作用する際の脆弱性のスケールに関するオープンな疑問が提起される。 本研究は,アライメント保護にもかかわらず有害な拘束行動を引き起こす,より大規模なモデルで,より小さなモデルを体系的に緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-16T15:16:33Z)
• Evaluating Large Language Models in Crisis Detection: A Real-World Benchmark from Psychological Support Hotlines [5.249698789320767]
  PsyCrisisBenchは、Hangzhou Psychological Assistance Hotlineの540の注釈付きテキストのベンチマークである。 気分認識、自殺の考えの検出、自殺計画の特定、リスクアセスメントの4つの課題を評価する。 QwQ-32Bのようなオープンソースモデルは、ほとんどのタスクにおいてクローズソースと互換性があるが、クローズドモデルはムード検出においてエッジを保持していた。
  論文  参考訳（メタデータ） (2025-06-02T05:18:24Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。